防毒軟體評比報告 (2007年6月28日)
2007 年 07 月 06 日 – 13:10:00更新資訊 (2007/7/6 @ 13:15):所有的防毒軟體測試報告已經出來了,有興趣的人,可以到我們的網站上看看。
我們實驗室 (Malware-Test Lab) 今天公佈第一批防毒軟體偵測率和掃瞄效能評比結果,如果各位對此報告有興趣的話,請參考這裡。如有任何問題,請告知我們,謝謝。
更新資訊 (2007/7/6 @ 13:15):所有的防毒軟體測試報告已經出來了,有興趣的人,可以到我們的網站上看看。
我們實驗室 (Malware-Test Lab) 今天公佈第一批防毒軟體偵測率和掃瞄效能評比結果,如果各位對此報告有興趣的話,請參考這裡。如有任何問題,請告知我們,謝謝。
這星期四 (6月28日 US Time),我們實驗室 (Malware-Test Lab) 將要公佈防毒軟體評測報告,趕在這個之前,我想要先跟各位說明「如何驗證防毒軟體測試報告呢?」。為什麼要寫這篇文章呢?最主要是因為國外的測試機構都沒有把詳細的測試結果公佈出來,大部分的人,只會看到偵測率的部份,其他的部分,應該都看不到,但在那裡面藏了很多各位所不知道的秘密,所以,有必要跟各位分享一下囉。
那如何驗證防毒軟體測試報告呢?測試機構至少需要提供下列三個數據,我們才能驗證測試報告:
為什麼呢?
關於第一點,如果測試機構沒有提供更新記錄檔的話,有可能他們所使用的產品、掃毒引擎 (Virus Scan Engine) 或 病毒特徵碼 (Virus Signature) 是由廠商特別提供的版本 (Special Build),根本沒有放置在防毒軟體廠商的官方網站上,簡直只是為了通過測試,雙方配合演出而已。
關於第二點,如果測試機構沒有提供掃描記錄檔的話 (有些防毒軟體根本沒有完整的記錄檔),有可能他們不是使用產品在做測試,而是使用無圖形介面的掃描引擎 (Command-line Virus Scanner)。這樣有什麼好處,可以做自動化測試,比較方便,而且,此掃毒引擎介面通常由掃描引擎部門所開發出來,比較沒有產品整合的問題。另一個可能是無法算出真正的偵測率,各位通常所看到的偵測率是由圖形介面顯示出來的結果,此結果有可能有灌水之嫌 (從我們的測試經驗中,有蠻多這種情形發生),所以,必須經由掃描記錄檔才可以算出真正的偵測率。
關於第三點,如果測試機構有提供樣本的 MD5 或 SHA1 值的話 (最好是提供樣本囉,但大部分的測試組織都不可能提供樣本給其他單位),擁有很多樣本的單位或個人,就可以檢查到底這些測試機構所使用樣本的重複率有多高。如果重複率很高,而每個測試機構所公佈的測試報告差異甚大,就可以知道有些測試組織可能將測試報告動過手腳。
希望以上三點說明,能讓各位更了解如何看待防毒軟體測試報告,進而要求測試機構或廠商提供或公佈更多的資訊,這樣才不會造成資訊不對稱,而造成錯誤的決定。
最後,歡迎各位踴躍發表自己的想法囉。
**這篇文章是發表在今年三月資安人雜誌**
為什麼我要寫「如何測試與選擇防毒軟體和反間諜軟體」這篇文章呢?其實,最主要的目的是要向各位說明國外的測試機構或資安雜誌如何測試或評比防毒軟體和反間諜軟體,以及比較國外與國內的測試機構 (Malware-Test Lab) 對防毒軟體和反間諜軟體的測試方法有何差異。如果各位了解這些內容,想必對各位在選擇防毒軟體和反間諜軟體有莫大的幫助。
測試方法有哪些
一般在對防毒軟體和反間諜軟體的測試上,可分為軟體和硬體兩部份;軟體部分可分為用戶端、伺服器端、閘道端等等,硬體部分可分為用戶端、閘道端、電信用戶端等等。測試方法大概有下列幾種:
一、即時掃描測試 (On-Access Scan)
二、手動掃描測試 (On-Demand Scan)
三、啟發式掃描測試 (Heuristic Scan)
四、誤判掃描測試 (False-Positive Scan)
五、檔案清除測試 (File-Clean Test)
六、系統清除測試 (System-Clean Test)
七、穩定度測試 (Stability Test)
八、壓力測試 (Stress Test)
九、效能測試 (Performance Test)
十、記憶體使用量測試 (Memory-Usage Test)
前幾天,我們實驗室 (Malware-Test Lab) 公佈一份防毒軟體評比測試報告 (02/26/2007),在某些論壇上,引起熱烈的討論。對於一些批評指教,我們都樂意接受。下面的段落,我會說明這次測試所遇到的一些狀況,以及未來的計畫。
測後心得:
1. 在測試過程中,很多防毒軟體 (如下所列) 都會發生應用程式錯誤 (Application Error) 或停止不動作,導致測試無法繼續進行下去,這些防毒軟體的品質,實在令人難以恭維,尤其是 Symantec,每次都會發生,難道他們的 QA 測不出來嗎?我真的很懷疑。
2. 在測試過程中發現,有很多防毒軟體掃描速度太慢 (如下所列),讓整個測試時間變得太長,導致測試有些許誤差。我個人認為是啟發式偵測 (Heuristic Detection) 的問題,因為把它的設定設為最高,下次測試可能利用預設值 (防毒軟體廠商推薦的設定)。
3. 在測試過程中得知,很多防毒軟體只顯示最後的掃描結果,並沒有提供完整的掃描記錄檔,所以,無法得知其偵測到哪些惡意檔案 (需要過濾掉重複的掃描記錄),以至於產生誤差。
4. 在測試過程中得知,有些防毒軟體 (如下所列) 會自動處理偵測到的惡意檔案,無法改變其對惡意檔案的處理動作 (Action Taken),這種的設計方式很不好,如果發生誤判,就會發生問題。對於測試組織,每次都需要重新拷貝惡意檔案,對於有經驗的人,就無法調整其設定。
5. 在測試過程中得知,很多防毒軟體的反間諜軟體掃瞄部分都與防毒軟體掃描部分分開,而沒有整合在一起。有什麼壞處呢?如果測試樣本同時包含病毒和間諜軟體等,而且,測試防毒軟體掃描,這樣他們就無法偵測到間諜軟體的樣本。另外,這裡要注意的是反間諜軟體以前都是針對感染的系統,所以,他們對個別間諜軟體檔案的偵測率都很低。
測試議題及改善:
對於無法在同一時間測試所有的防毒軟體的問題,雖然可以利用其他方法解決,但我們應該會繼續採用這種方式,唯一不同的是相似的產品盡量在同一時間進行測試。
未來計畫:未來會陸續增加「誤判率測試」、「防毒軟體企業版測試」、「效能測試」、「穩定度測試」等測試項目。
注意:在這裡要特別說明,我們都是使用正式發表的產品進行測試,而且,所有程式及病毒碼的更新都是透過產品內建的自動更新伺服器 (Active Update Server),並不會採用由廠商提供的特別版本。為什麼要特別說明呢?因為有些測試機構是使用由廠商提供的防毒軟體命令列版本及特別版本的病毒碼進行測試,很驚訝吧!
贊助:目前我們所提供的測試報告都是免費,未來也會繼續這麼做,不過,任何網站都需要生存發展的基本營運動力,本站也不例外,如果各位想贊助我們,請參考這裡,或是想在我們網站上做廣告,請聯絡我,謝謝。
最後,在這裡要評論微軟的 Windows Live OneCare 1.5。這個產品的所有功能都很陽春,真的不像微軟的產品,功能齊全,我個人認為安裝在系統上好像沒多大用處,只是浪費記憶體而已。
防毒軟體的偵測率 (20070226):
在這次的測試中,某些防毒軟體會造成下面的問題:
1. 下面的防毒軟體會使得系統出現藍色死亡畫面(bugcheck 0x7f), 我們已經收集到系統所產生的memory dump:
2. 下列的防毒軟體會出現應用程式例外處理畫面:
3. 當執行掃描病毒時,下列防毒軟體本身的執行程序會發生凍結現象:
4. 下列的防毒軟體花費大量的掃描時間:
5. 下列防毒軟體產生安裝錯誤 (利用 Windows Live OneCare Cleanup Tool 可以解決此問題):
6. 下列的防毒軟體花費大量的掃描時間:
7. 授權碼過期 (不曉得有人可以提供授權碼給我們嗎?):
對於更詳細的資訊,請參考這裡。
注意:由於病毒碼更新的時間不同,所以,容許誤差範圍介在 -4.3% 和 +4.3% 之間。
最近,我們實驗室 (Malware-Test Lab) 公佈一份最新的反間諜軟體評比報告(1/03/2007) (或如下),真是幾家歡樂幾家愁,贏家當然欣喜,但輸家想必想把我們給宰了吧。也有網友說,測試不公正等等,但我要在這裡說,我們花費了很多的時間與精力,就是想把我們在防毒軟體測試領域所知道的東西,告訴各位,讓各位知道詳細的資訊,以免落入「資訓不對等」的處境。在這裡,我想問各位一個問題,你們了解國外的測試組織是怎麼做防毒軟體或反間諜軟體的測試嗎 (還是你們只看偵測率百分比呢)?他們有沒有像我們一樣公佈詳細的資訊呢?嗯…我想答案應該很清楚了,各位可以上網查查看。
‧BitDefender Internet Security v10: 94.85%
‧ESET NOD32 2.7: 89.12%
‧Kaspersky Internet Security 6.0: 88.86%
‧Grisoft AVG Anti-Spyware 7.5 (ewido anti-spyware 4.0): 88.50%
‧Alwil avast! 4.7 Home Edition (free): 84.47%
‧Norman Virus Control 5.82: 79.41%
‧Rising Antivirus 2006: 69.11%
‧F-Secure Internet Security 2007: 68.20%
‧Sunbelt CounterSpy 1.5: 67.51%
‧Panda Internet Security 2007: 65.79%
‧Spyware Terminator 1.5 (with WinClamAV 1.1): 65.57%
‧AVIRA AntiVir PersonalEdition Classic 7.0 (free): 57.57%
‧Trend Micro PC-cillin Internet Security 2007: 49.18%
‧EMSISoftware a-square free 2.1 (free): 40.61%
‧McAfee Internet Security 2007: 38.35%
‧Microsoft Windows Defender 1.1 (free): 33.88%
‧ZoneAlarm Security Suite 6.5: 32.12%
‧PC Tools Spyware Doctor 4.0: 31.70%
‧Trend Micro Anti-Spyware 3.5: 28.30%
‧SUPERAntiSpyware 3.4: 23.75%
‧AhnLab SpyZero 2007: 23.45%
‧Comodo AntiVirus 1.1 (free): 17.57%
‧Webroot Spy Sweeper 5.2: 16.51%
‧Symantec Norton Internet Security 2007: 13.33%
‧Lavasoft Ad-Aware SE Personal (free): 12.42%
‧CA Internet Security 2007 (antispyware part only): 9.92%
‧CyberDefender AntiSpyware 2006: 3.08%
‧Outpost Firewall Pro 4.0: 0.93%
‧Tenebril SpyCatcher Express 4.0 (free): 0.52%
‧TrojanHunter 4.6: 0.00%
從上面的排名,可以看出防毒軟體已經追趕上來了,以往防毒軟體對於間諜軟體或廣告軟體偵測的能力都不是很好,最主要是因為他們無法取得間諜軟體或廣告軟體的樣本,不過,經過一些時日後,這個問題已經不再困擾防毒軟體廠商。或許各位會質疑一件事情,為什麼反間諜軟體的偵測率怎麼這麼差呢?這是因為反間諜軟體原本的設計是要清除間諜軟體或廣告軟體,以及如何保護系統免於受到間諜軟體或廣告軟體的入侵。對於偵測間諜軟體或廣告軟體,只要為了要做清除之前的準備,大部分的反間諜軟體都是用 MD5 的演算法對檔案進行比對,以及使用正規表示法 (Regular Expression) 對注冊碼進行掃描,所以,它們所使用的技術遠遠落後於防毒軟體。現在的間諜軟體已經結合木馬與惡意程式,許多的樣本都不是反間諜軟體所可以解決的,因此,反間諜軟體廠商也紛紛地加入防毒軟體的功能 (有興趣可以閱讀之前寫的「反間諜軟體的未來」 ),最終,兩者一定會合而唯一的。
最後總結是從這次的測試中得知:
**期盼很快能看到各位的看法**
這篇文章是從IThome產業動態看到的,本來是想找原始出處,但一直找不到,希望廠商看到了這篇部落格,能提供資訊給我囉。以下是從報導中擷取一小段:
整合式威脅管理領導廠商Fortinet能準確偵查病毒, 測試結果優於賽門鐵克、F-Secure、Sophos、McAfee和卡巴司基。
整合式威脅管理解決方案業界先驅與領導廠商Fortinet,宣佈電腦安全軟體FortiClient在由知名獨立防毒實驗室AV-Test.org主持,採現存所有病毒檔案進行的測試中,以其準確偵測網路威脅的卓越效能領先群倫。
AV-Test.org以模擬後門、傀儡程式(bot)、蠕蟲和特洛依攻擊,建立一系列的防毒測試。Fortinet總成績名列第四,超越其他29家廠商,包括賽門鐵克、F-Secure、Sophos和卡巴司基。FortiClient?則在偵測潛在蠕蟲攻擊項目位居第一。AV-Test.org是目前業界唯一的獨立實驗室,經常為防毒廠商收集和提供效能評量標準,評估各種產品的防毒能力。
Fortinet產品行銷副總裁Freddy Mangum表示,「AV-Test.org的測試結果,進一步肯定了Fortinet以整合式安全防護偵查病毒和抵禦惡意攻擊的方法。Fortinet 長期以來即主張,單一功能的解決方案不足以有效察查並阻止以網路和應用程式為基礎的攻擊。我們對這項結果感到非常榮幸,因為它再次印證Fortinet優質的產品、研究與方法。」
讓人最納悶的地方在於所有詳細的資訊都沒有公佈,也無從得知他們是如何測試這些產品,真令人大失所望。
最近看了台灣的卡巴斯基公佈了一份防毒軟體效能報告,在好奇心驅使之下,想要尋找相關的文章,皇天不負苦心人,終於找到了「CNET 2007 防毒軟體效能評比」,測試的防毒軟體只有 NOD32 2.5、Kasperksy Antivirus 6、CA Anti-Virus 2007、Norton、AntiVirus 2007、BitDefender 10、McAfee VirusScan Plus 2007。
讀完之後,感覺蠻失望的,原因是他們沒有說明的很詳細,好像霧裡看花,以下的圖是從 CNET 的報告擷取出來的:




期待各位發表您的想法。
原文來源:
在一些資安雜誌或網站上,經常可以看見防毒軟體的評比報告,但你有沒有發現評比結果都不太一樣,為什麼呢?讓我一一為各位說明。
所謂外行看熱鬧,內行看門道。一般人只看評比數字之高低,但忽略了其背後真正之涵義。評比最重要的是「測試項目」、「測試樣本」與「測試方法」,它們決定了最後的評比結果。例如,VB100(註解1)只關心有沒有通過WildList(註解2)測試樣本及正常檔案誤判率(False Positive Rate)。此外,必須公開「測試項目」、「測試樣本」與「測試方法」,讓別人可以根據其公佈的資訊加以檢驗其評比結果。一般測試機構幾乎不會公佈測試樣本,只會告訴各位他們使用如WildList的測試樣本,但大家還是無法驗證,最好可以附上每個測試樣本的MD5或SHA1值。
一般評比會在測試項目、測試樣本及測試方法上動手腳,以至於造成不同的評比結果,這就是為什麼你經常會在知名的雜誌或網站上看到不同的評比結果。另外一種評比是廠商為了宣傳自己的產品,委託知名的測試機構(如NSS, AV-Test, Virus Bulletin, ICSA等等)或雜誌(如PC Magazine, SC Magazine, CNET等等)測試競爭者與自己產品的好壞,但他們只會公佈評比數字,很少會公佈詳細資訊,所以,各位很難去檢驗其評比結果。藉此可以達到兩個目的,一方面藉由這些知名的雜誌或測試機構為其產品背書,以達到宣傳的目的,另一方面讓使用者信任他們產品的品質,以達成購買其產品的目的。
另外,你有沒有發現一個很特別的現象,幾乎所有的測試機構都只測試病毒偵測率(Virus Detection Rate),而沒有測試病毒清除率及其他項目,為什麼呢?這是因為只要擁有病毒樣本,就可以測試病毒偵測率,此種測試是最省時間及最為簡單,其他的,幾乎都要花費很長的時間及需要擁有相當的測試技術才可完成的。
最後要說明的是個人用戶與企業用戶版本的測試項目還是有一些區別。除了偵測率及清除率外,企業用戶很在乎「系統穩定度」、「系統效能」、「中央控管能力」、「對病毒的反應能力」等等。所以,如果要測試企業版本,可能需要測試這些項目,所花費的時間,可想而知。
註解:
1. VB100:Virus Bulletin組織會定期測試防毒軟體,如果通過他們的測試,他們會頒給廠商一個VB100的標誌,有興趣的人,請參考http://www.virusbtn.com。
2. WildList:這個組織定期會公佈最熱門的病毒名稱清單,幾乎所有的測試機構都會採用他們所提供的病毒名稱清單做為測試病毒的基準,有興趣的人,請參考http://www.wildlist.org。