Результаты очередного сентябрьского тестирования антивирусных решений издания VirusBulletin снова вызвали спорные оценки. На этот раз обойденным рейтингом оказался продукт «Лаборатории Касперского» несмотря на то, что способность обнаружения вредоносного ПО он продемонстрировал на уровень выше победителей. Методика и адекватность рейтинга VB100 давно вызывает у экспертов скепсис: в скором времени можно ожидать массового отказа вендоров от участия в нем, считают они.

В сентябрьском тестировании VB100 оценивалась эффективность антивирусных программ для защиты серверов под управлением новой серверной платформы Windows Server 2008. В нем приняли участие 24 антивирусных продукта. Методика теста заключается в проверке антивирусным модулем коллекций «диких вирусов» (Wildlist) и «чистых файлов» (Clean Sets). Антивирус, не пропустивший ни одного экземпляра из первого списка и не «назвавший» вирусом ни одного файла из второго списка (так называемый «фолс»), удостаивается награды VB100%.

В результате последнего исследования VB100 как раз из-за одного «фолса» награду не получил продукты «Лаборатории Касперского» и Avira. Напротив, Agnitum, не обнаруживший 1242 трояна, Eset Nod32 — пропустивший 538 троянов, а также Sophos с 625-ю пропущенными троянами, но не набравшие «фолсов», были отмечены медалями.

Эти результаты вызвали у экспертов рынка безопасности противоречивые оценки: напомним, что подобное с рейтингом VirusBulletin происходит регулярно. В частности, августовское тестирование антивирусных продуктов впервые за свою историю прошло без участия российского антивируса Dr.Web: вендор счел нецелесообразным участие в спорном рейтинге. Также от участия отказалась Trend Micro. Первой подобный шаг совершила Panda Antivirus еще в 2003 г.

Результаты октябрьского тестирования VirusBulletin

Суть претензий вендоров к методике исследования состоит в том, что она перестает отвечать требованиям испытания антивирусных продуктов. «Объективность тестов журнала VirusBulletin, дочернего предприятия антивирусной компании Sophos, уже много лет вызывает нарекания, гомерический хохот, смех сквозь слезы у специалистов», — подтвердил директор по маркетингу Perimetrix Денис Зенкин. По его словам, подходы к обеспечению безопасности разных антивирусных компаний концептуально отличаются. В зависимости от условий теста победителем может оказаться заведомо слабый продукт и наоборот, лидер других тестов окажется в аутсайдерах.

Директор по исследованиям и разработке «Лаборатории Касперского» Николай Гребенников рассказал CNews, что одной из отрицательных сторон методологии VB100 остается исключение из получающих награду решения, допустившего лишь одно ложное срабатывание на файл любого вида. Задетектированный «Антивирусом Касперского» файл является одним из редакторов скриптов Perl/CGI. «При этом «Касперский» не только показал абсолютную эффективность в работе со зловредами из коллекции Wild List, но и высокий уровень детектирования в других, не менее важных коллекциях», — пояснил Гребенников. Он добавил, что компания по-прежнему не удовлетворена методологией VB и не исключает выход из состава участников, но конкретных решений по этому поводу пока не принималось.

Результаты октябрьского награждения VirusBulletin

Ведущий вирусный аналитик «Лаборатории Касперского» Александр Гостев отметил следующие недостатки методики VB100: результаты проверки на детектирование троянцев (доминирующего класса вредоносных программ) не учитываются при награждении. Награда присуждается на основании результатов сканирования файлов из коллекции WildList, в которую включены только вирусы и черви. «Сравнение антивирусных продуктов и раздача наград по одному единственному критерию является анахронизмом, — считает эксперт: — «индустрия уже далеко ушла от примитивных сканеров-файлов и активно использует такие технологии как поведенческие блокираторы, HIPS, веб-антивирусы, межсетевые экраны, whitelisting и так далее».

Сегодня в Оттаве, где проходит конференция Virus Bulletin 2008, тестировщик этого английского журнала говорил в своем выступлении о намерениях поменять формат тестирования, рассказал CNews генеральный директор «Доктор Веб» Борис Шаров. «Консерватизм англичан всем нам хорошо известен, поэтому VB100 присуждается по-прежнему не за успехи в детектировании того, что беспокоит пользователей сегодня, а за то, что было актуальным десятилетие тому назад. Главное, чтобы пользователи об этом знали, тогда меньше будет возможности манипулировать ими, говоря о победах в тестировании Virus Bulletin», заметил глава «Доктор Веб».

В Eset, производителе антивируса Nod32, полагают, что пока тесту Virus Bulletin нет альтернативы, и стоит считаться с его выводами. «Тестирование Virus Bulletin является индустриальным стандартом. Можно сколько угодно критиковать неполноту базы Wild List, однако адекватного аналога нет. Поэтому антивирусные вендоры по-прежнему регулярно принимают участие в тестировании — даже те из них, у кого это не всегда получается успешно», — прокомментировала директор по маркетингу Eset Анна Александрова.

Денис Зенкин напомнил, что некоторое время назад вирусологи решили положить конец «дезориентирующим пользователей тестам» и объединились в проекте AMTSO (Anti-malware testing standards organization). Пока это начинание не принесло видимых результатов. Что касается VB100, то он полагает, что, последний опыт «может переполнить чашу терпения части вендоров, и весьма вероятно мы станем свидетелями новой волны исхода участников».

При этом конечному потребителю еще сложнее доверять результатам таких тестов, считает генеральный директор SecurIT Алексей Раевский. «Я в целом довольно скептически отношусь к разного рода рейтингам, и считаю, что очень сложно разработать методику тестирования, по которой можно адекватно сравнить даже однотипные продукты», — заявил эксперт. Поэтому потенциальным пользователями стоит рекомендовать повышать свой уровень, чтобы можно было самостоятельно сравнить продукты для выбора наиболее подходящего решения, добавил он.

Источник: Cnews