評比測試

防毒軟體評比報告 (2007年6月28日)

2007 年 07 月 06 日 – 13:10:00

更新資訊 (2007/7/6 @ 13:15):所有的防毒軟體測試報告已經出來了,有興趣的人,可以到我們的網站上看看。

我們實驗室 (Malware-Test Lab) 今天公佈第一批防毒軟體偵測率和掃瞄效能評比結果,如果各位對此報告有興趣的話,請參考這裡。如有任何問題,請告知我們,謝謝。

如何驗證防毒軟體測試報告呢?

2007 年 06 月 26 日 – 00:31:00

這星期四 (6月28日 US Time),我們實驗室 (Malware-Test Lab) 將要公佈防毒軟體評測報告,趕在這個之前,我想要先跟各位說明「如何驗證防毒軟體測試報告呢?」。為什麼要寫這篇文章呢?最主要是因為國外的測試機構都沒有把詳細的測試結果公佈出來,大部分的人,只會看到偵測率的部份,其他的部分,應該都看不到,但在那裡面藏了很多各位所不知道的秘密,所以,有必要跟各位分享一下囉。

在說明之前,我要先說明測試方法,目前大部分的防毒軟體測試組織都只針對偵測率部份做評比 (由於人力及財力的問題,目前我們也只能做這部份,不過,將來會慢慢加入其他測試項目),理由很簡單,因為只要擁有樣本即可做此項測試。那為什麼不做其他測試項目呢?因為技術問題和測試時間較久,大部分的測試組織都不做這些項目,但這些測試項目對防毒軟體的好壞影響蠻大的,到最後,消費者只能比較偵測率的高低,以做為購買防毒軟體的依據。假若各位了解這些測試方法的話,就比較不容易受到矇騙,而進一步要求防毒軟體廠商公布使用其他測試方法所得到的測試結果,這樣一來,各位就知道哪些防毒軟體是比較好的。

那如何驗證防毒軟體測試報告呢?測試機構至少需要提供下列三個數據,我們才能驗證測試報告:

  1. 更新記錄檔 (Update Logs) (必要)
  2. 掃描記錄檔 (Scan Logs) (必要)
  3. 樣本的 MD5 或 SHA1 值 (非必要)

為什麼呢?

關於第一點,如果測試機構沒有提供更新記錄檔的話,有可能他們所使用的產品、掃毒引擎 (Virus Scan Engine) 或 病毒特徵碼 (Virus Signature) 是由廠商特別提供的版本 (Special Build),根本沒有放置在防毒軟體廠商的官方網站上,簡直只是為了通過測試,雙方配合演出而已。

關於第二點,如果測試機構沒有提供掃描記錄檔的話 (有些防毒軟體根本沒有完整的記錄檔),有可能他們不是使用產品在做測試,而是使用無圖形介面的掃描引擎 (Command-line Virus Scanner)。這樣有什麼好處,可以做自動化測試,比較方便,而且,此掃毒引擎介面通常由掃描引擎部門所開發出來,比較沒有產品整合的問題。另一個可能是無法算出真正的偵測率,各位通常所看到的偵測率是由圖形介面顯示出來的結果,此結果有可能有灌水之嫌 (從我們的測試經驗中,有蠻多這種情形發生),所以,必須經由掃描記錄檔才可以算出真正的偵測率。

關於第三點,如果測試機構有提供樣本的 MD5 或 SHA1 值的話 (最好是提供樣本囉,但大部分的測試組織都不可能提供樣本給其他單位),擁有很多樣本的單位或個人,就可以檢查到底這些測試機構所使用樣本的重複率有多高。如果重複率很高,而每個測試機構所公佈的測試報告差異甚大,就可以知道有些測試組織可能將測試報告動過手腳。

希望以上三點說明,能讓各位更了解如何看待防毒軟體測試報告,進而要求測試機構或廠商提供或公佈更多的資訊,這樣才不會造成資訊不對稱,而造成錯誤的決定。

最後,歡迎各位踴躍發表自己的想法囉。

延伸閱讀:
防毒軟體評比之奧秘
如何測試與選擇防毒軟體和反間諜軟體

如何測試與選擇防毒軟體和反間諜軟體

2007 年 03 月 17 日 – 16:00:00

**這篇文章是發表在今年三月資安人雜誌**

為什麼我要寫「如何測試與選擇防毒軟體和反間諜軟體」這篇文章呢?其實,最主要的目的是要向各位說明國外的測試機構或資安雜誌如何測試或評比防毒軟體和反間諜軟體,以及比較國外與國內的測試機構 (Malware-Test Lab) 對防毒軟體和反間諜軟體的測試方法有何差異。如果各位了解這些內容,想必對各位在選擇防毒軟體和反間諜軟體有莫大的幫助。

測試方法有哪些

一般在對防毒軟體和反間諜軟體的測試上,可分為軟體和硬體兩部份;軟體部分可分為用戶端、伺服器端、閘道端等等,硬體部分可分為用戶端、閘道端、電信用戶端等等。測試方法大概有下列幾種:

一、即時掃描測試 (On-Access Scan)

  • 大部分的防毒軟體都有即時掃描,當對檔案進行存取時,它們就會發生作用,而且,它們都是實作在系統核心模式 (Kernel Mode)下。這個測試主要是在測試防毒軟體是否可以即時偵測到入侵的病毒樣本。
  • 幾乎所有的間諜軟體都有即時防護,但與防毒軟體的即時掃描有極大的差異,因為反間諜軟體的即時防護是行為偵測或監控 (Behavior-Based Detection or Monitor)。當執行一個檔案時,系統發生改變 (如檔案、註冊碼等等),反間諜軟體會彈出一個視窗警告使用者是否允許或拒絕改變,決定權在於使用者。反間諜軟體的即時防護都是實作在系統使用者模式 (User Mode),如果間諜軟體執行的夠快的話,間諜軟體是極可能可以成功地感染系統。
  • 對防毒軟體而言,大部分的測試機構都會做這項測試,因為只要有樣本即可做此項測試,但對間諜軟體而言,大部分的測試機構都不會做此項測試,因為它們即時防護應該都偵測不到。

二、手動掃描測試 (On-Demand Scan)

  • 所有的防毒軟體手動掃描測試都是針對檔案。這個測試是將病毒樣本放置在某個檔案夾,然後,開啟防毒軟體針對那個檔案夾進行掃描,等待掃描完成之後,再計算多少檔案被偵測為病毒。事實上,即時掃描與手動掃描的測試結果必須一致,否則,就必須檢查是測試有問題,還是防毒軟體有問題。
  • 反間諜軟體手動掃描測試比較特別,它可以針對檔案、註冊碼、Cookies等進行掃描,所以,做起來比較麻煩,大部分的測試機構還是針對檔案進行測試。
  • 大部分的測試機構都會做此項測試,因為只要有樣本即可。

三、啟發式掃描測試 (Heuristic Scan)

  • 防毒軟體掃瞄引擎幾乎都有一個處理器的模擬器,會根據一些規則來判斷是否為惡意程式,但有些正常的軟體也會有這些規則,因此,導致誤判,所以,這項測試都會與誤判掃描測試一起進行。這個測試主要是要測試防毒軟體對未知病毒的偵測能力。
  • 反間諜軟體幾乎都沒有此項功能。
  • 對防毒軟體而言,大部分測試機構都不會做此項測試,最主要原因是此項測試需要花費比較長的時間,而且,也必須對防毒軟體引擎有相當了解的人才有能力做此項測試。對反間諜軟體而言,則不需做此項測試。

四、誤判掃描測試 (False-Positive Scan)

  • 防毒軟體引擎是依據病毒庫的病毒特徵來做比對,如果在病毒庫找到此項特徵,就視為病毒,但有時候病毒特徵設計不好,就會產生將正常檔案視為病毒的情形,這就稱為誤判。這個測試主要是測試防毒軟體的可靠度,通常會與啟發式掃描一起做測試。
  • 大部分的測試機構都不會做此項測試。

五、檔案清除測試 (File-Clean Test)

  • 有些病毒會感染系統的正常檔案,必須將這些受感染的檔案收集起來,再使用防毒軟體引擎對其做清除的動作,然後,檢查清除的檔案是否還包含惡意程式碼以及是否能正常的開啟。這個測試主要是在測試防毒軟體引擎對受感染檔案的清除能力。
  • 大部分防毒軟體引擎都支援此項功能,但大部分的反間諜軟體都不支援此項功能,不過,它們藉著加入防毒軟體引擎達成此項功能。
  • 對防毒軟體而言,大部分的測試機構不會做此項測試,因為需要花費大量時間,而且,還必須要有分析病毒的能力。對反間諜軟體而言,都沒有做此項測試,因為以前的間諜軟體都不會感染系統檔案,不過,現在有些間諜軟體則會感染系統檔案。

六、系統清除測試 (System-Clean Test)

  • 在執行病毒或間諜軟體檔案之後,大部分的病毒會建立或修改系統的執行程序、檔案、註冊碼等地方,所以,防毒軟體引擎必須針對這些行為進行修復動作。這個測試主要是在測試防毒軟體引擎對已感染的系統的清除能力。有時候防毒軟體或反間諜軟體會刪掉一些不該刪除的檔案或註冊碼,所以,必須特別小心。
  • 所有的反間諜軟體都支援此項功能。
  • 對防毒軟體而言,大部分都沒有整合此項功能。防毒軟體廠商是根據病毒熱門程度,單獨提供修復程式。對反間諜軟體而言,只有少數的測試機構會做此項測試,因為必須要有相當的技術能力,才能做此項測試,而且,需要花費大量時間。為了節省時間,有些測試機構沒有實際安裝樣本,不過,這樣的測試結果就不能算是公正。

七、穩定度測試 (Stability Test)

  • 大部分的防毒軟體都有驅動程式 (Driver),有時候會因為某些因素造成系統不太穩定,對於反間諜軟體來說,以前大部分都沒有驅動程式,但因為為了有效攔截間諜軟體或惡意程式,現在已經有越來越多的趨勢。這個測試主要是在測試當使用防毒軟體或反間諜軟體時,系統是否會常常當機或不穩定。
  • 大部分的測試機構都不會做此項測試。

八、壓力測試 (Stress Test)

  • 當系統在高度缺乏資源 (如很高的處理器使用量等) 下所做的測試。這個測試主要是在測試防毒軟體或反間諜軟體是否會有異常狀況。
  • 大部分的測試機構都不會做此項測試。

九、效能測試 (Performance Test)

  • 這個測試主要是在測試防毒軟體或反間諜軟體是否會對系統產生效能瓶頸。有些防毒軟體或反間諜軟體掃瞄速度非常的慢,有時候會拖垮系統效能,以致影響其他的應用程式執行。
  • 大部分的測試機構都不會做此項測試。

十、記憶體使用量測試 (Memory-Usage Test)

  • 這個測試主要是在測試防毒軟體或反間諜軟體是否會使用大量記憶體。有些防毒軟體或反間諜軟體會使用大量記憶體,以至於系統其他應用程式無法取的足夠的記憶體或是影響系統效能

防毒軟體 (Feb 26, 2007) 測後心得

2007 年 03 月 01 日 – 16:06:00

前幾天,我們實驗室 (Malware-Test Lab) 公佈一份防毒軟體評比測試報告 (02/26/2007),在某些論壇上,引起熱烈的討論。對於一些批評指教,我們都樂意接受。下面的段落,我會說明這次測試所遇到的一些狀況,以及未來的計畫。

測後心得:

1. 在測試過程中,很多防毒軟體 (如下所列) 都會發生應用程式錯誤 (Application Error) 或停止不動作,導致測試無法繼續進行下去,這些防毒軟體的品質,實在令人難以恭維,尤其是 Symantec,每次都會發生,難道他們的 QA 測不出來嗎?我真的很懷疑。

  • Dr.Web Antivirus 4.33
  • Symantec Internet Security 2007
  • Virus Chaser Professional
  • VirusBuster Professional 2006
  • PC Tools Antivirus 3.1 (Free)
  • F-Prot Antivirus 3.16f (掃描快完成時才發生,可以從記錄檔得知其偵測率)
  • F-Secure Internet Security 2007 (安裝完成且重新開機後,從此系統一直重開機)
  • Sunbelt CounterSpy V2 (某個惡意檔案使得它的掃描引擎發生問題)

2. 在測試過程中發現,有很多防毒軟體掃描速度太慢 (如下所列),讓整個測試時間變得太長,導致測試有些許誤差。我個人認為是啟發式偵測 (Heuristic Detection) 的問題,因為把它的設定設為最高,下次測試可能利用預設值 (防毒軟體廠商推薦的設定)。

  • Trend Micro Internet Security 2007 (超過 40 個小時)
  • AVIRA AntiVir PersonalEdition Classic 7.0 (Free) (超過 64 個小時)
  • AVIRA Premium Security Suite 7.0 (超過 175 個小時) (今天才完成)
  • GRISOFT AVG Internet Security 7.5 (超過 70 個小時)

3. 在測試過程中得知,很多防毒軟體只顯示最後的掃描結果,並沒有提供完整的掃描記錄檔,所以,無法得知其偵測到哪些惡意檔案 (需要過濾掉重複的掃描記錄),以至於產生誤差。

4. 在測試過程中得知,有些防毒軟體 (如下所列) 會自動處理偵測到的惡意檔案,無法改變其對惡意檔案的處理動作 (Action Taken),這種的設計方式很不好,如果發生誤判,就會發生問題。對於測試組織,每次都需要重新拷貝惡意檔案,對於有經驗的人,就無法調整其設定。

  • Symantec Norton Internet Security 2007
  • McAfee Internet Security 2007
  • Microsoft Windows Live OneCare 1.5
  • 其他 (省略)

5. 在測試過程中得知,很多防毒軟體的反間諜軟體掃瞄部分都與防毒軟體掃描部分分開,而沒有整合在一起。有什麼壞處呢?如果測試樣本同時包含病毒和間諜軟體等,而且,測試防毒軟體掃描,這樣他們就無法偵測到間諜軟體的樣本。另外,這裡要注意的是反間諜軟體以前都是針對感染的系統,所以,他們對個別間諜軟體檔案的偵測率都很低。

  • Trend Micro Internet Security 2007
  • CA Internet Security 2007
  • AhnLab V3 Internet Security 2007 Platinum

測試議題及改善:

對於無法在同一時間測試所有的防毒軟體的問題,雖然可以利用其他方法解決,但我們應該會繼續採用這種方式,唯一不同的是相似的產品盡量在同一時間進行測試。

未來計畫:未來會陸續增加「誤判率測試」、「防毒軟體企業版測試」、「效能測試」、「穩定度測試」等測試項目。

注意:在這裡要特別說明,我們都是使用正式發表的產品進行測試,而且,所有程式及病毒碼的更新都是透過產品內建的自動更新伺服器 (Active Update Server),並不會採用由廠商提供的特別版本。為什麼要特別說明呢?因為有些測試機構是使用由廠商提供的防毒軟體命令列版本及特別版本的病毒碼進行測試,很驚訝吧!

贊助:目前我們所提供的測試報告都是免費,未來也會繼續這麼做,不過,任何網站都需要生存發展的基本營運動力,本站也不例外,如果各位想贊助我們,請參考這裡,或是想在我們網站上做廣告,請聯絡我,謝謝。

最後,在這裡要評論微軟的 Windows Live OneCare 1.5。這個產品的所有功能都很陽春,真的不像微軟的產品,功能齊全,我個人認為安裝在系統上好像沒多大用處,只是浪費記憶體而已。

Malware-Test Lab 防毒軟體評比報告 (02/26/2007)

2007 年 02 月 27 日 – 02:44:00

防毒軟體的偵測率 (20070226):

  • AVIRA Premium Security Suite 7.0: 95.09% 新增加
  • Fortinet FortiClient Host Security 3.0: 94.70%
  • BitDefender Internet Security v10: 92.36%
  • AOL Active Virus Shield (免費版本): 89.02%
  • AVIRA AntiVir PersonalEdition Classic 7.0 (免費版本): 88.44%
  • GRISOFT AVG Internet Security 7.5: 88.37%
  • Norman Virus Control Plus 5.82: 86.64% 新增加
  • BitDefender 8 Free Edition (免費版本): 86.52%
  • Rising Antivirus 2007: 84.78%
  • Kaspersky Internet Security 6.0: 84.77%
  • Panda Internet Security 2007: 79.16%
  • MicroWorld eScan Internet Security 8.0: 77.68%
  • ClamWin Free Antivirus 0.90 (免費版本): 76.57%
  • Sunbelt CounterSpy V2: 76.39%
  • ALWIL avast Professional 4.7: 73.41%
  • F-Prot Antivirus 3.16f: 72.75%
  • Filseclab Twister Anti-TrojanVirus V7: 62.66%
  • Trend Micro Internet Security 2007: 60.53%
  • CA Internet Security 2007: 58.61%
  • AhnLab V3 Internet Security 2007 Platinum: 56.44%
  • Kingsoft Internet Security 2007: 55.55%
  • ESET NOD32 2.7: 49.17%
  • Jiangmin Antivirus KV 2007: 45.16%
  • Webroot Spy Sweeper with Antivirus: 40.71%
  • CAT Quick Heal Total Security 2006: 37.29%
  • Hauri Virobot Desktop 5.0: 34.38%
  • Microsoft Windows Live OneCare 1.5: 12.68% 新增加
  • Comodo Antivirus 1.1 (免費版本): 9.92%

在這次的測試中,某些防毒軟體會造成下面的問題:

1. 下面的防毒軟體會使得系統出現藍色死亡畫面(bugcheck 0x7f), 我們已經收集到系統所產生的memory dump:

  • F-Secure Internet Security 2007

2. 下列的防毒軟體會出現應用程式例外處理畫面:

  • Dr.Web Antivirus 4.33
  • Symantec Internet Security 2007
  • Virus Chaser Professional
  • VirusBuster Professional 2006
  • PC Tools Antivirus 3.1 (Free)
  • F-Prot Antivirus 3.16f

3. 當執行掃描病毒時,下列防毒軟體本身的執行程序會發生凍結現象:

  • Sunbelt CounterSpy V2

4. 下列的防毒軟體花費大量的掃描時間:

  • Sunbelt CounterSpy V2

5. 下列防毒軟體產生安裝錯誤 (利用 Windows Live OneCare Cleanup Tool 可以解決此問題):

  • Microsoft Windows Live OneCare 1.5

6. 下列的防毒軟體花費大量的掃描時間:

  • Trend Micro Internet Security 2007 (over 40 hours)
  • AVIRA AntiVir ProfessionalEdition Classic 7.0 (Free) (over 64 hours)
  • AVIRA Premium Security Suite 7.0 (over 175 hours)
  • GRISOFT AVG Internet Security 7.5 (over 70 hours)

7. 授權碼過期 (不曉得有人可以提供授權碼給我們嗎?):

  • McAfee Internet Security 2007

對於更詳細的資訊,請參考這裡

注意:由於病毒碼更新的時間不同,所以,容許誤差範圍介在 -4.3% +4.3% 之間。

反間諜軟體測後心得!

2007 年 01 月 08 日 – 23:43:00

最近,我們實驗室 (Malware-Test Lab) 公佈一份最新的反間諜軟體評比報告(1/03/2007) (或如下),真是幾家歡樂幾家愁,贏家當然欣喜,但輸家想必想把我們給宰了吧。也有網友說,測試不公正等等,但我要在這裡說,我們花費了很多的時間與精力,就是想把我們在防毒軟體測試領域所知道的東西,告訴各位,讓各位知道詳細的資訊,以免落入「資訓不對等」的處境。在這裡,我想問各位一個問題,你們了解國外的測試組織是怎麼做防毒軟體或反間諜軟體的測試嗎 (還是你們只看偵測率百分比呢)?他們有沒有像我們一樣公佈詳細的資訊呢?嗯…我想答案應該很清楚了,各位可以上網查查看。

‧BitDefender Internet Security v10: 94.85%
‧ESET NOD32 2.7: 89.12%
‧Kaspersky Internet Security 6.0: 88.86%
‧Grisoft AVG Anti-Spyware 7.5 (ewido anti-spyware 4.0): 88.50%
‧Alwil avast! 4.7 Home Edition (free): 84.47%

‧Norman Virus Control 5.82: 79.41%
‧Rising Antivirus 2006: 69.11%
‧F-Secure Internet Security 2007: 68.20%
‧Sunbelt CounterSpy 1.5: 67.51%
‧Panda Internet Security 2007: 65.79%
‧Spyware Terminator 1.5 (with WinClamAV 1.1): 65.57%
‧AVIRA AntiVir PersonalEdition Classic 7.0 (free): 57.57%
‧Trend Micro PC-cillin Internet Security 2007: 49.18%
‧EMSISoftware a-square free 2.1 (free): 40.61%
‧McAfee Internet Security 2007: 38.35%
‧Microsoft Windows Defender 1.1 (free): 33.88%
‧ZoneAlarm Security Suite 6.5: 32.12%
‧PC Tools Spyware Doctor 4.0: 31.70%
‧Trend Micro Anti-Spyware 3.5: 28.30%
‧SUPERAntiSpyware 3.4: 23.75%
‧AhnLab SpyZero 2007: 23.45%
‧Comodo AntiVirus 1.1 (free): 17.57%
‧Webroot Spy Sweeper 5.2: 16.51%
‧Symantec Norton Internet Security 2007: 13.33%
‧Lavasoft Ad-Aware SE Personal (free): 12.42%
‧CA Internet Security 2007 (antispyware part only): 9.92%
‧CyberDefender AntiSpyware 2006: 3.08%
‧Outpost Firewall Pro 4.0: 0.93%
‧Tenebril SpyCatcher Express 4.0 (free): 0.52%
‧TrojanHunter 4.6: 0.00%

從上面的排名,可以看出防毒軟體已經追趕上來了,以往防毒軟體對於間諜軟體或廣告軟體偵測的能力都不是很好,最主要是因為他們無法取得間諜軟體或廣告軟體的樣本,不過,經過一些時日後,這個問題已經不再困擾防毒軟體廠商。或許各位會質疑一件事情,為什麼反間諜軟體的偵測率怎麼這麼差呢?這是因為反間諜軟體原本的設計是要清除間諜軟體或廣告軟體,以及如何保護系統免於受到間諜軟體或廣告軟體的入侵。對於偵測間諜軟體或廣告軟體,只要為了要做清除之前的準備,大部分的反間諜軟體都是用 MD5 的演算法對檔案進行比對,以及使用正規表示法 (Regular Expression) 對注冊碼進行掃描,所以,它們所使用的技術遠遠落後於防毒軟體。現在的間諜軟體已經結合木馬與惡意程式,許多的樣本都不是反間諜軟體所可以解決的,因此,反間諜軟體廠商也紛紛地加入防毒軟體的功能 (有興趣可以閱讀之前寫的「反間諜軟體的未來」 ),最終,兩者一定會合而唯一的。

最後總結是從這次的測試中得知:

  1. 大部分所測試的反間諜軟體都專注於間諜軟體的清除,雖然它們也提供掃描功能,但沒有想像中的很好。
  2. 大部分所測試的防毒軟體偵測的能力都比反間諜軟體來得好。
  3. 有些防毒軟體偵測樣本為間諜軟體,有些則偵測為木馬或惡意程式,所以,防毒軟體與反間諜軟體的功能需要合併起來,而不是分開,因為越來越多的間諜軟體已經結合木馬與惡意程式。

**期盼很快能看到各位的看法**

「Fortinet在最新AV-Test.Org防毒測試中領先群倫」怎麼又是這樣 !!

2006 年 12 月 26 日 – 11:25:00

這篇文章是從IThome產業動態看到的,本來是想找原始出處,但一直找不到,希望廠商看到了這篇部落格,能提供資訊給我囉。以下是從報導中擷取一小段:

整合式威脅管理領導廠商Fortinet能準確偵查病毒, 測試結果優於賽門鐵克、F-Secure、Sophos、McAfee和卡巴司基。

整合式威脅管理解決方案業界先驅與領導廠商Fortinet,宣佈電腦安全軟體FortiClient在由知名獨立防毒實驗室AV-Test.org主持,採現存所有病毒檔案進行的測試中,以其準確偵測網路威脅的卓越效能領先群倫。

AV-Test.org以模擬後門、傀儡程式(bot)、蠕蟲和特洛依攻擊,建立一系列的防毒測試。Fortinet總成績名列第四,超越其他29家廠商,包括賽門鐵克、F-Secure、Sophos和卡巴司基。FortiClient?則在偵測潛在蠕蟲攻擊項目位居第一。AV-Test.org是目前業界唯一的獨立實驗室,經常為防毒廠商收集和提供效能評量標準,評估各種產品的防毒能力。

Fortinet產品行銷副總裁Freddy Mangum表示,「AV-Test.org的測試結果,進一步肯定了Fortinet以整合式安全防護偵查病毒和抵禦惡意攻擊的方法。Fortinet 長期以來即主張,單一功能的解決方案不足以有效察查並阻止以網路和應用程式為基礎的攻擊。我們對這項結果感到非常榮幸,因為它再次印證Fortinet優質的產品、研究與方法。」

讓人最納悶的地方在於所有詳細的資訊都沒有公佈,也無從得知他們是如何測試這些產品,真令人大失所望。 :(

CNET公佈2007防毒軟體效能評比 !!

2006 年 12 月 23 日 – 12:16:00

最近看了台灣的卡巴斯基公佈了一份防毒軟體效能報告,在好奇心驅使之下,想要尋找相關的文章,皇天不負苦心人,終於找到了「CNET 2007 防毒軟體效能評比」,測試的防毒軟體只有 NOD32 2.5、Kasperksy Antivirus 6、CA Anti-Virus 2007、Norton、AntiVirus 2007、BitDefender 10、McAfee VirusScan Plus 2007。

讀完之後,感覺蠻失望的,原因是他們沒有說明的很詳細,好像霧裡看花,以下的圖是從 CNET 的報告擷取出來的:

performance1.png

performance2.png

performance3.png

performance4.png

期待各位發表您的想法。

原文來源:

CNET 2007 antivirus performance test scores

CNET 2006 antivirus performance test scores

防毒軟體評比之奧秘

2006 年 10 月 11 日 – 12:50:00

在一些資安雜誌或網站上,經常可以看見防毒軟體的評比報告,但你有沒有發現評比結果都不太一樣,為什麼呢?讓我一一為各位說明。

所謂外行看熱鬧,內行看門道。一般人只看評比數字之高低,但忽略了其背後真正之涵義。評比最重要的是「測試項目」、「測試樣本」與「測試方法」,它們決定了最後的評比結果。例如,VB100(註解1)只關心有沒有通過WildList(註解2)測試樣本及正常檔案誤判率(False Positive Rate)。此外,必須公開「測試項目」、「測試樣本」與「測試方法」,讓別人可以根據其公佈的資訊加以檢驗其評比結果。一般測試機構幾乎不會公佈測試樣本,只會告訴各位他們使用如WildList的測試樣本,但大家還是無法驗證,最好可以附上每個測試樣本的MD5或SHA1值。

一般評比會在測試項目、測試樣本及測試方法上動手腳,以至於造成不同的評比結果,這就是為什麼你經常會在知名的雜誌或網站上看到不同的評比結果。另外一種評比是廠商為了宣傳自己的產品,委託知名的測試機構(如NSS, AV-Test, Virus Bulletin, ICSA等等)或雜誌(如PC Magazine, SC Magazine, CNET等等)測試競爭者與自己產品的好壞,但他們只會公佈評比數字,很少會公佈詳細資訊,所以,各位很難去檢驗其評比結果。藉此可以達到兩個目的,一方面藉由這些知名的雜誌或測試機構為其產品背書,以達到宣傳的目的,另一方面讓使用者信任他們產品的品質,以達成購買其產品的目的。

另外,你有沒有發現一個很特別的現象,幾乎所有的測試機構都只測試病毒偵測率(Virus Detection Rate),而沒有測試病毒清除率及其他項目,為什麼呢?這是因為只要擁有病毒樣本,就可以測試病毒偵測率,此種測試是最省時間及最為簡單,其他的,幾乎都要花費很長的時間及需要擁有相當的測試技術才可完成的。

最後要說明的是個人用戶與企業用戶版本的測試項目還是有一些區別。除了偵測率及清除率外,企業用戶很在乎「系統穩定度」、「系統效能」、「中央控管能力」、「對病毒的反應能力」等等。所以,如果要測試企業版本,可能需要測試這些項目,所花費的時間,可想而知。

註解:
1. VB100:Virus Bulletin組織會定期測試防毒軟體,如果通過他們的測試,他們會頒給廠商一個VB100的標誌,有興趣的人,請參考http://www.virusbtn.com
2. WildList:這個組織定期會公佈最熱門的病毒名稱清單,幾乎所有的測試機構都會採用他們所提供的病毒名稱清單做為測試病毒的基準,有興趣的人,請參考http://www.wildlist.org