● 媒体评测与专业评测机构的差距 与专业评测机构相比,非专业机构(本文特指国内媒体)评测存在着诸多漏洞,这其中包括病毒收集、评测方式、数据收集整理等各个方面。具体如下: 1.病毒收集 病毒收集来自互联网,收集过后没有经过严格的测试分析,很多经由用户上报的文件并非病毒,甚至有的上报文件属于正常的软件文件或系统文件。 本次评测中,所有病毒文件全部经过PCSL(国内非盈利性安全产品评测机构)实验室验证,通过分析代码和特征码认定文件是否为病毒,确保病毒包内所有文件均为病毒。由此,在评测第一关中即可杜绝虚假数据的客观因素。 2.评测方式 此次评测采用国际权威的VB100认证方式,不做动态扫描测试,只做静态扫描。病毒文件首先以压缩包的方式存在,在杀毒软件安装完毕后,监控全开状态下,将压缩包文件解压到指定文件夹。 3.数据收集 在媒体评测中,除去病毒收集和评测方式,数据采集非常不合理。比如在CPU占用率方面,其它媒体评测只做单次测试随机单次取值。在此次评测中,我们将采用多次测试随机多次取值,每一次测试的每一组取值均为6次,然后再根据数据出现频率(以中间值为准)予以计算。 如:在CPU占用率最低测试中,对病毒包的扫描进行三次,每一次扫描的每个单项测试都是6次取值,在获得数据后,以出现频率最多的数字为准。这样的数据收集可以尽可能的接近杀毒软件实际情况,避免数据收集的不合理。 4.数据报告 在这一项评测中,拟采用与国际权威安全评测机构VB100、英国西海岸等不完全一样的统计方式。 权威结构的病毒测试结果,部分数据依赖于杀毒软件自身的扫描报告,但由于各安全产品对病毒文件的识别机制不同、病毒特征识别的差异、病毒统计方式的不同,造成原本只有100个病毒文件,最后出现200个查杀数据结果(这与病毒文件自身存在自解压文件也有关系,编注)。因此,本文采用相对比较简洁,但更为苛刻的方式:只查看病毒包残留文件数。 我们在遵循权威机构测试的前提下,加入更为合理的细节处理,使得这11款安全软件能够在一个合理、公平的平台上有一个相对客观的评测结果。 它更多评测细则和疑问,笔者将在本文的最后,以问答的形式体现。#p#副标题#e# ● 评测环境 硬件: 考虑到评测一方面要追求权威和严肃,另一方面测试环境也要尽可能的接近用户使用环境,因此在测试用机方面,选择使用联想 Y510。该笔记本预装正版Windows Vista系统,笔者全新安装Windows 7(未激活)后进行评测。
从硬件配置可以看出,联想 Y510硬件环境接近普通用户使用环境。测试过程中发现,联想 Y510在Windows 7平台上可以流畅运行,没有发现系统异常。 软件: 此次评测我们采用微软最新一代的Windows 7操作系统。为保证评测环境的纯洁性,每测试一款安全软件后,都将恢复系统,以清理前一款安全软件查杀后因生成的隔离文件造成数据统计错误。
病毒包构成详情: 考虑到目前来自互联网的安全威胁,主要是还是木马,其次才是后门等,因此该病毒包的构成情况为木马1210个、后门40个、病毒15个、Rootkit5个。
● 参评产品&细则说明&测试项 金山毒霸2009 江民杀毒软件KV2010 瑞星全功能安全软件2010 360杀毒1.0正式版 ESET NOD32 安全套装4.0 卡巴斯基全功安全软件2010 诺顿网络安全特警2010 微软Microsoft Security Essentials 迈克菲(McAfee Internet Security 2009) 熊猫安全卫士2010 趋势科技网络安全专家 2010
要使得测试公平合理,除文章开头所说的情况外,还有一点是和杀毒软件的安装与默认设置有关。基于此,我们在安装杀毒软件过程中,均按软件的默认情形。比如,金山毒霸在安装过程中,默认安装金山网盾等软件,我不予以干涉,但其在测试过程中的进程数就计算在内。否则,这对其它安全软件不公平。在安全软件的设置方面,也同样按各杀毒软件的默认方式进行扫描,不做人工手动设置干预。 为使得测试数据尽可能的接近实际情形,我们将每单项评测再次细化,比如CPU占用率,我们细化为CPU占用率最低平均值、CPU占用率中间平均值、CPU占用率最高平均值。 具体细分如下: 杀毒软件进程数 CPU占用最低平均值 CPU占用中间平均值 CPU占用最高平均值 物理内存占用最低平均值 物理内存占用中间平均值 物理内存占用最高平均值 虚拟内存占用最低平均值 虚拟内存占用中间平均值 虚拟内存占用最高平均值 病毒包残留文件数 其中,“中间平均值”是指,介于最低和最高的值之间的数据,但并非是“绝对中间”。如,最低平均值为14,最高平均值为24,中间平均值的数据“18”出现一次,“20”出现两次,“22”出现三次,那么就取“22”为中间平均值。“平均值”的取值同样如此。 简而言之,在每单项单组随机取值中,均是以某数值的出现频率为准。 在系统设置方面,将文件属性统一设置为显示隐藏文件,以防止有的杀毒软件在Windows 7中会隐藏部分主要文件。#p#副标题#e# ● 杀毒软件进程数 第一项测试是杀毒软件的进程数。在此项测试中,包括专业的安全评测机构在内,他们都难以到“最合理”评测角度的。因为部分杀软在常规状态下的进程数和扫描状态下的进程数,是不一样的。 考虑到此次测试的重点是查杀能力,我们就以默认安装后,杀毒软件进入扫描状态时,Windows 7任务系统资源监视器中的进程数为准。 以下杀毒软件进程数测试数据图(数值越高,进程越多):
不难看出,迈克菲(进程数8个)和金山毒霸(进程数7),以及熊猫安全卫士和趋势科技(均为6)四款杀毒软件的进程数居前列。
需要说明的是,金山毒霸进程数多,是因为其安装程序默认安装金山网盾等组件程序(4个)。但限于评测方式的限定,我们只能将其计算为7个。迈克菲的进程数居高,原因在于它将网络监控、邮件监控等分别设置进程,而不是和其它杀软一样,将某些进程合并体现。 此外,部分杀软即使在扫描过程中,它的进程数也不是唯一不变的。 编辑点评: 金山应该适当的“学习”一下某些杀毒软件,将一些“非主流”进程或合并、或隐藏,或干脆依附到其它文件进程中。 小知识:进程数越多,杀毒软件占用资源就越多吗? 进程数越多和统资源占用不是成绝对正比的。有的杀毒软件将部分进程合并后,体现出来的资源占用,其实是多个进程占用数。甚至有的杀毒软件会将自身进程依附于系统进程体现。这在后面的CPU占用、物理内存和虚拟内存占用方面就可以看出来。#p#副标题#e# ● CPU占用最低平均值 在CPU占用这一项评测中,最低、中间、最高这三项细化测试结果表明,部分国产杀毒软件在性能方面与国外杀软相比,已经不再是完全处于下风,甚至有超过的情况。这在以往的杀毒软件横评中,是难以见到的。
包括360杀毒在内,国产安全产品在这一单项评测中,金山、江民、瑞星在总体体上胜过国外杀毒软件。瑞星从2008版开始,有效解决了系统资源占用的问题,这在今天的评测数据中再次得到印证。 在国外杀毒软件中,之前的资源占用大户卡巴斯基现在有了不少的进步,但诺顿、趋势和熊猫没有进步的迹象。杀软新军,微软MSE的表现也不是很让人满意。 编辑点评: 都是老品牌,卡巴斯基不停的换新颜,诺顿怎么就如此“沉稳不前”呢?#p#副标题#e# ● CPU占用中间平均值 在这一单项测试中,江民和瑞星的表现相对更出色,国内外的杀毒软件总体水平不相上下。从整体数据上看,11款杀毒软件CPU占用中间平均值,最大值差不过18(诺顿62,江民44)。以下为数据图:
与CPU占用最低平均值相比,卡巴斯基在这一项测试中,成绩不是很理想,测试过程中,给人以很“突兀”的感觉。也许是前一项测试成绩太好,让笔者期望值有了更多的希求。 在对卡巴斯基提出批评的同时,笔者还想将其和ESET NOD32一起,提出表扬。与前代产品相比,卡巴斯基在资源占用方面的进步,不只是简单的“数字降低”,它在查杀过程中的数据很少出现大起大落的情况。在这一点上,ESET NOD32和卡巴斯基表现不错。 编辑点评: 虽然诺顿在这一项测试中没有“折桂”,但CPU占用居高依然是一个现实问题。#p#副标题#e# ● CPU占用最高平均值 CPU占用最高平均值的数据,可以用“大跌眼镜”一词来形容。原本表现中规中矩,甚至可以看作是优秀的,国产杀毒软件新军——360杀毒,它在这一项测试中,数据变化非常之大,最低和最高之间的数值差为57。
360杀毒1.0版采用的是来自罗马尼亚的杀毒软件BitDefender的引擎,在本次评测中,它的扫描时间(360杀毒在扫描后会连接服务器端,然后再进行病毒处理)和查杀时间的用时是最短的。 笔者对于技术层面的认知比较少,无法弄清它的扫描和查杀的实际工作状况,但从肉眼可见的层面上,360杀毒在轻、快、灵方面直逼ESET NOD32。 编辑点评: 360杀毒让人大跌眼镜的同时,也让人眼前一亮。#p#副标题#e# ● 物理内存占用最低、中间、最高平均值 为节省篇幅,物理内存占用三项测试和虚拟内存的三项测试,各自均以一页的形式呈现。 在物理内存的最低、中间、最高占用三项评测中,数据表现比较突出的是国产杀毒软件瑞星;表现一如既往优秀的当属ESET NOD32和卡巴斯基。此外,微软MSE和在物理内存占用方面的数据表现力也很不错,这可以看作是“意外之喜”。
从数据表可以很清晰的看出,在物理内存占用方面,迈克菲和江民是第一大户;诺顿和趋势科技紧随其后。处在中间层面上的有熊猫安全卫士和金山。 ESET NOD32延续着一贯的轻、快、灵的性能突出的特点。但是这一特色正在被个别杀毒软件所追赶,甚至出了明显“被超过”的情形。最令人匪夷所思的是,追赶它的刚好是以前资源占用大户的瑞星和卡巴斯基。而处在中间段的一些杀毒软件,要么是变化不大,要么是不进则退。 编辑点评: 迈克菲的“异军突起”,让之前相对稳定的评测数据,瞬间掀起巨浪,数据表现差别之大,让人难以相信。#p#副标题#e# ● 虚拟内存占用最低、中间、最高平均值 有不少计算机用户,特别是一些偏好计算机论坛的“老鸟”用户认为,杀毒软件在系统中耗费资源的指标应该以CPU占用率和虚拟内存为主要标准,物理内存则处次要地位。 持这样观点的用户认为,杀毒软件核心技术的构成和优化,在常规状态下看不出有多少差距,但在扫描、查杀过程中,各杀毒软件的性能优劣就能体现出来了。这样的观点,没有实际的权威评测数据支持,但在此次评测中,虚拟内存的最低、中间、最高数据平均值,似乎从侧面验证了这一说法。以下为数据图:
如果虚拟内存占用数据的高低真的是一个“试金石”,那么在这一项评测中,瑞星和ESET NOD32无疑是最大赢家,当属第一集团。而诺顿、微软MSE、卡巴斯基、迈克菲这四款杀毒软件的数据表现则是要差一些,追赶第一集团的路较长。 处在中间集团的杀毒软件阵营相对比较多一些,江民、熊猫、趋势科技、360杀毒再努一把力,或许在新的一轮评测中就会有不错的数据表现。 在虚拟内存评测中,各杀毒软件在最低、中间、最高三项测试中,没有出现大起大落的情况。基本上,各自都处在一个相对稳定的数据范围内。#p#副标题#e# ● 病毒包残留文件数 在文章的开始部分,笔者已经很清楚的将此项评测的数据收集方式和理由告诉大家,这里不再赘述。以下为数据图:
是不是以为自己看错了?或者是笔者数据统计错了?嗯,笔者在第一次测试后,也认为是自己看错了;第二次查杀后,依然认为自己看错了,直到第三次查杀结果出现,笔者才敢将这一数据公布:诺顿查杀后,病毒包残留文件数为661;熊猫安全卫士查杀后,病毒包残留文件数为0! 除诺顿和熊猫安全卫士“令人诧异”的表现外,微软MSE、卡巴斯基、360杀毒的数据表现同样精彩。#p#副标题#e# ● 评测相关答疑&总结 答疑 在任何一项横向评测中,每一位浏览者都能以不同方式,从不同角度对评测提出质疑,笔者很欢迎有这样的质疑。但同时希望是有理有据的质疑,对于所有理性质疑的用户,笔者将一一回帖作答。在通过回帖形式回答问题前,笔者先将几个大家可能会有的疑问,以问答的形式体现出来。 问:为什么没有“小红伞”? 答:杀软有很多,但不是每一款杀软在每一次评测中都要出现。如果您有兴趣,我可以单独做此测试。 问:ZOL软件的评测最权威? 答:遵循专业评测机构的方式,力求权威。至少,此次评测在国内媒体中是没有过的。 问:怎么没有杀毒软件的功能对比? 答:用鼠标,还需要知道鼠标左键和右键的位置吗? 问:没有功能对比,怎么体现各杀软的优劣? 答:各杀毒软件各有特色功能,这是事实,但此次评测不是针对特色功能的。另外,特色功能对比如同图赏,虽花哨惹眼,但没有指导意义。 问:你的病毒是怎么收集的? 答:在一些计算机软件类论坛中收集的。 问:你敢把病毒包公布吗? 答:不敢,在网络上传播病毒(包)是非法的。如果您愿意,我可以在一段时间内保留此病毒包,随时欢迎您来测试、验证。 问:病毒包中有没有正常文件? 答:已经请第三方非盈利性安全评测工作室PCSL,从代码和特征两个方面做了分析,包内文件均为“有害物质”,没有正常文件。如有疑问,欢迎您来“复查”。 总结 大家现在看到的只是生硬但真实的数据,但在笔者测试过程中,各安全软件是具有鲜活生命力的。比如江民、微软MSE和迈克菲,在安全软件监控全开状态下,笔者将从压缩包内解压时,它们已经从临时文件夹中探测到危险的存在,启动查杀功能将病毒文件扼杀。与此形成鲜明对比的是,个别安全软件只在“右键扫描”时,才能启动查杀功能。从这一点说,江民、迈克菲等则更有灵性。 此外,在国内的媒体中,还有这样一种声音,认为静态扫描或动态扫描并不能体现安全软件的能力,应该从主动防御等方面予以评测。这样的说法,笔者完全无法接受。举例来说,假如ESET NOD32和卡巴斯基都没有主动防御,只具有启发式扫描,那是不是说ESET NOD32和卡巴斯基就不行呢? 归根结底,安全软件的本质在于安全,而杀毒软件实现安全的技术呈现的样式并不唯一,具有多样性,不能因为形式的不同,功能的不同就认定某某杀毒软件不行。 评测的最后,笔者曾考虑是否要给参与此次测试的安全软件“颁奖”,但最终还是放弃了这一想法。原因有三: 一:此评测还有不够完善的地方,虽遵循国际权威机构的评测方式,但在具体的细节处理方面,还有一定的差距;二:客观的说,各杀软之间各有所长,虽然在本文评测中,部分杀软数据表现很差,但并不代表它在其它单项测试中的表现同样就会很差;三,此次评测未引入动态扫描,基于此,如果要给各安全软件“评奖”,也要结合动态扫描测试结果才更全面,更有说服力。
责任编辑:李祥敬
|