如何驗證防毒軟體測試報告呢?
2007 年 06 月 26 日 – 00:31:00這星期四 (6月28日 US Time),我們實驗室 (Malware-Test Lab) 將要公佈防毒軟體評測報告,趕在這個之前,我想要先跟各位說明「如何驗證防毒軟體測試報告呢?」。為什麼要寫這篇文章呢?最主要是因為國外的測試機構都沒有把詳細的測試結果公佈出來,大部分的人,只會看到偵測率的部份,其他的部分,應該都看不到,但在那裡面藏了很多各位所不知道的秘密,所以,有必要跟各位分享一下囉。
那如何驗證防毒軟體測試報告呢?測試機構至少需要提供下列三個數據,我們才能驗證測試報告:
- 更新記錄檔 (Update Logs) (必要)
- 掃描記錄檔 (Scan Logs) (必要)
- 樣本的 MD5 或 SHA1 值 (非必要)
為什麼呢?
關於第一點,如果測試機構沒有提供更新記錄檔的話,有可能他們所使用的產品、掃毒引擎 (Virus Scan Engine) 或 病毒特徵碼 (Virus Signature) 是由廠商特別提供的版本 (Special Build),根本沒有放置在防毒軟體廠商的官方網站上,簡直只是為了通過測試,雙方配合演出而已。
關於第二點,如果測試機構沒有提供掃描記錄檔的話 (有些防毒軟體根本沒有完整的記錄檔),有可能他們不是使用產品在做測試,而是使用無圖形介面的掃描引擎 (Command-line Virus Scanner)。這樣有什麼好處,可以做自動化測試,比較方便,而且,此掃毒引擎介面通常由掃描引擎部門所開發出來,比較沒有產品整合的問題。另一個可能是無法算出真正的偵測率,各位通常所看到的偵測率是由圖形介面顯示出來的結果,此結果有可能有灌水之嫌 (從我們的測試經驗中,有蠻多這種情形發生),所以,必須經由掃描記錄檔才可以算出真正的偵測率。
關於第三點,如果測試機構有提供樣本的 MD5 或 SHA1 值的話 (最好是提供樣本囉,但大部分的測試組織都不可能提供樣本給其他單位),擁有很多樣本的單位或個人,就可以檢查到底這些測試機構所使用樣本的重複率有多高。如果重複率很高,而每個測試機構所公佈的測試報告差異甚大,就可以知道有些測試組織可能將測試報告動過手腳。
希望以上三點說明,能讓各位更了解如何看待防毒軟體測試報告,進而要求測試機構或廠商提供或公佈更多的資訊,這樣才不會造成資訊不對稱,而造成錯誤的決定。
最後,歡迎各位踴躍發表自己的想法囉。


“如何驗證防毒軟體測試報告呢?” 目前有 8 迴響
如果這次測試一樣是測防毒軟體在所有功能皆開啟及最大化情形下的最高偵測率,那可以不用測了,這樣的測試報告滿街都是…
這樣的測試報告事實上是悖離市場需求的!
懂得如何開啟防毒軟體的所有功能或使用擴展庫、中國病毒碼的使用者,相對一般使用者來講都有較高的資安意識,這些使用者不論使用那一套防毒軟體,可能差別都不大!防毒軟體可能變成他們測試病毒的「工具」而以。
實際上最需要防毒軟體保護的是那些資安意識較弱的使用者,他們的防毒軟體設定可能都是採用出廠預設值,測試各防毒軟體在出廠預設值之下的偵測率,才符合市場需求,這樣的偵測率對一般的消費者才具有參考價值。
By ChaiLiWon on 2007 年 06 月 27 日 - 03:31:00
這次的測試有些設定(啟發是偵測)是使用預設值,而不是把它調到最大。
對於你的建議,在這次測試報告出來後,我們希望再做一份如你所說的測試報告,謝謝提供的建議。
By Roger on 2007 年 06 月 27 日 - 10:05:00
希望這兩次測試報告採用相同的病毒碼版本,也可順便做個比較。
By Anonymous on 2007 年 06 月 27 日 - 10:51:00
這次我們有做備份,所以,我們會使用相同的病毒碼做測試,除非軟體授權過期。
By Roger on 2007 年 06 月 27 日 - 10:59:00
如果測試樣本中沒有變造副檔名或多層壓縮的樣本,在啟發式設定又相同的情況下,估計兩次測試結果差別不大。
By Anonymous on 2007 年 06 月 27 日 - 19:34:00
這不一定。有些防毒軟體為了改善效能問題,做了很多trade-off的事,而不是提供使用者最佳的防護設定,所以,這種測試還是有其價值,畢竟,99%的使用者都不是power user。
另外,變造附檔名對現在防毒軟體影響不大,除非檔案沒有固定格式或選擇使用副檔名掃描。
By Roger on 2007 年 06 月 27 日 - 20:49:00
很高興測試報告的品質又提升了些..
至於上次關於掃描完成時間的數據如果可以在這次出現,
那就更迷人啦!!
By Lu on 2007 年 06 月 28 日 - 11:10:00
謝謝。
By Roger on 2007 年 06 月 28 日 - 11:52:00