Основные элементы Спамообороны | Будённовск.орг

Основные элементы Спамообороны

Дата: 19.07.2012 | Время: 15:15
Рубрики: Новости | Комментировать

BUDENNOVSK.ORG

Спамооборона

В ходе подготовки к выделению рассылок в отдельную группу сообщений Яндекс сформулировал и опубликовал документ. Напомним, что Яндекс начал борьбу за чистоту почты в апреле 2003 года. Первый антиспамовый фильтр был основан на массовости — в папку Рассылки помещались подозрительно похожие письма, разосланные по слишком большому списку адресов. В январе 2004 года появилась технология, использующая около двух тысяч правил фильтрации. Есть несколько российских программных решений для корпоративных пользователей, предназначенных для борьбы со спамом. Среди них наиболее по популярными и востребованными являются два — Спамтест компании Ашманов и партнеры и Спамооборона.

Яндекс использует для проверки почты собственное решение, Спамооборону, почтовый сервис Mail — Спамтест. У каждого из этих продуктов есть свои поклонники и противники. Кто-то считает, что лучше Спамтест, другие — что Спамоборона надежнее. Пользователю важно одно — настоящий спам не должен проходить сквозь программные заслоны, а нужные письма не должны пропадать среди неразобранного спама. Если эти два условия выполняются — большего и не надо. Всего несколько цифр, которые вряд ли скажут многое, но тем не менее. Данные взяты за 7 апреля из открытой информации на Яндекс.Почте и Mail. По данным Спамообороны, за сутки было отклонено 90,45% писем а из оставшихся писем 51,9% были помечены как возможный спам. Корпоративный продукт Спамооборона— это серверное решение для фильтрации спама. Устойчивость Спамообороны к новым видам спама обеспечивается автоматическим обновлением базы признаков на основе данных, полученных от Яндекс.Почты.

Спамооборона относительно недорогой продукт— около 1 долл за каждый почтовый ящик в месяц. Она работает на операционных системах FreeBSD и Linux и поддерживает такие почтовые серверы, как SendMail, CommunigatePro и QMail. А совсем недавно Яндекс пригласил компании, чьи почтовые серверы используют МТА CommuniGate Pro под управлением операционной системы Windows, принять участие в бета-тестировании Спамообороны на новой для нее платформе.

Вот три принципа, на которых строилась разработка программы. С роботами должны бороться роботы — спамерские письма рассылаются роботами в миллионах экземпляров. Отсюда следует, что быстро реагировать и эффективно обрабатывать их могут только роботы. Поэтом развитие Спамообороны — это создание все более умных алгоритмов, которые могут распознавать спам. Несмотря на все разнообразие спамерских технологий, в подобных письмах есть много характерных признаков, которые могут быть выделены статистическим анализом. Письма не должны проваливаться в черную дыру — на Яндексе письмо либо не принимается почтовым сервером (о чем серверотправитель получает соответствующее уведомление), либо доходит до ящика пользователя. Судьбу писем решает владелец почтового ящика — почта Яндекса по умолчанию предлагает фильтр, который складывает в папку Рассылки письма, похожие на спам.

Владелец ящика может полностью отключить этот фильтр (и получать все письма в папку Входящие) либо реабилитировать адреса конкретных рассылок. Таким образом Спамооборона не является жестким, с раз и навсегда заданными правилами, продуктом, защищающим почту от спама. Алгоритм работы этой системы настраивается на предпочтения пользователя. В то же время система является обучаемой, а в качестве учебного материала для нее служит постоянно обновляемая база знаний, пополняемая за счет непрерывного анализа приходящих на Яндекс.Почту сообщений.

Спамооборона учится и за счет нас, пользователей. Это происходит в силу наличия обратной связи — вспомните, в интерфейсе почтового ящика есть кнопки: «Это спам» и «Это не спам». Безусловно, для одних сообщение может считаться спамом, для других— нет, поэтому в системе для принятия общего решения ведется анализ количества сигналов и того, и другого рода. Помимо обучения всей системы, Спамооборона умеет подстраиваться и под конкретного пользователя Яндекс.Почты — она корректирует белые списки по данным обратной связи и по списку корреспондентов, которым пользователь отправляет письма.

Основные элементы Спамообороны

Спамооборона состоит из нескольких частей парсера, который разбирает письмо на элементы и собирает статистику; анализирующего модуля, применяющего правила и вычисляющего спамовый вес каждого сообщения; базы знаний, на основе которой работают правила. Входной информацией, с которой работает Спамооборона, является совокупность всех данных, относящихся к каждому сообщению. Анализируется и сам текст письма — количество несловарных слов, скрытой информации. На первом этапе обработки письма в дело вступает парсер, который разделяет письмо на чистую, воспринимаемую человеком, составляющую, и шумовую, составляющую, которая может содержать и невидимый для пользователя текст, и бессмысленные данные. Одновременно с этим происходит анализ технической информации о письме — проверяется достоверность информации об отправителе, анализируется подлинность заголовков письма, учитываются особенности настройки сетей и почтовых систем отправителей.

Поставщиком данных для системы правил является обновляемая база знаний, которая включает данные RBL. Пояснения — это специальным образом рассчитываемая метрика письма, позволяющая выявлять массовые рассылки. Алгоритм расчета основан на определении уникальных характеристик схожих сообщений. RBL (Realtime Blackhole List) — это список IP адресов открытых почтовых прокси-серверов и неадминистрируемых сетей, с которых рассылается спам.

Яндекс поддерживает собственный RBL. Анализирующий модуль отслеживает в письме признаки, которые описаны в правилах. Правила пишутся на некотором внутреннем языке, который позволяет учесть любое свойство и признак письма. Правила описывают известные признаки и спама, и, наоборот, хороших писем, при этом каждому правилу приписан определенный вес. Если суммарный вес сработавших правил выше которого порога, письмо считается спамом.

Правила можно модифицировать и добавлять без изменения самой программы, что позволяет их оперативно корректировать, а база знаний (статистики массовости писем и вложений, черные списки) обновляется постоянно. Каждое правило при срабатывании добавляет к весу письма определенное количество баллов (весовой коэффициент), как положительный, так и отрицательный. Любое из этих правил само по себе не является достаточным для принятия определенного решения — только совокупность их может с достаточной степенью уверенности сказать, относится ли письмо к спаму или нет. И если суммарный положительный вес сработавших правил превышает порог, определенный параметрами настройки системы, письмо маркируется как спам. щщ Примечание. По данным Яндекс.Почты, отношение писем, неправильно помеченных как спам, к общему количеству хороших писем для массовой почты исчисляется десятыми долями процента. Для корпоративных сетей настройка может быть выполнена более целенаправленно, и в этом случае процент ложных срабатываний на порядок меньше. База знаний, которая является третьим ключевым элементом системы, включает данные RBL и наборы эвристик. Обработка письма— это основной, но не окончательный этап. Определив полученное сообщение как спам, рассылку или чистое письмо Спамооборона ставит на него свою печать, добавляет в каждое письмо следующие служебные строки заголовка spamFiag — может принимать следующие значения

yes — письмо определено как спам;

no — чистая корреспонденция;

dlvr — легальная рассылка (экспериментальный режим);

skIP — письмо на необслуживаемый адрес, истек срок действия лицензии или произошла ошибка. spamYversion — показывает номер установленной версии Спамообороны.

В этом случае данные из служебных строчек заголовка могут пользоваться и в клиентских программах при настройке фильтров на значение заголовка xspamFiag, а также на сервере правилами sieve (сервер 31 АР производства Cyrus), procmail или другими средствами предварительной обработки почты. Она может отображать результат проверки письма не только в виде служебного поля заголовка xspamFiag, обычно не просматриваемого получателем почты, но и произвольной меткой в начале поля темы письма Subject), которую можно задать настройкой системы. Помимо заданной метки в поле темы может быть также добавлен суммарный вес письма. Наличие метки также может обрабатываться фильтрами почтовых клиентов, но, кроме того, дает пользователю визуальное представление о том, что за корреспонденция попала в его почтовый ящик.

Спамооборона использует также понятия белого списка. Он формируется на основе отправленных пользователями писем. В белом списке Спамообороны сохраняются пары адресов корреспондент внешний адрес) — получатель (локальный адрес). При получении письма извне проверяется наличие адреса внешнего корреспондента в белом списке. Возможны три режима проверки:

— белый список не применяется;

— используется общий список; используются персональные списки.

Если рассуждать логически, то это значение должно перекрывать возможные отрицательные веса. Если в белом списке найдена доменная часть адреса электронной почты внешнего корреспондента, сработает правило обработки доменов. В определенной степени эта информация может быть интересной для системных администраторов компаний, у которых есть собственный сервер и которые предполагают использовать Спамооборону для защиты от спама. Чем может быть удобно это решение? В большинстве случаев Спамооборона не требует выделенного сервера. Рекомендованной конфигурацией является компьютер с процессором Intel Pentium 4, частоте 1,5 ГГц и 1 Гбайт ОЗУ. Такой сервер способен обрабатывать до 15 писем в секунду, что может оказаться вполне достаточным для средней компании.

Компании, использующие Спамооборону, могут подключаться к постоят обновляемой базе знаний, на основе которой выполняется проверка сообщений. В зависимости от возможностей компании могут быть предложены два варианта подключения к этой базе. По первому варианту можно автоматически загружать обновления на свой сервер и работать с локальной копией базы знаний.

При использовании второго варианта необходимо при проверки письма обращаться с запросом к базе знаний, расположенной на сервере Яндекса. Первый способ удобен при большом потоке писем, поскольку у величивает скорость их обработки. Второй способ снижает расходы на трафик необходимый для получения обновлений. Но если вы решили воспользоваться услугами сервиса, вам надо его настроить.

Во-первых, перейдите на страницу so.yandexaIl une.xml. Здесь необходимо ввести адрес, на который будет отправляться отфильтрованная почта. Если вы ранее этот адрес еще не включали в число доверенных адресов, на него будет выслано письмо с предложением подтвердить введенный адрес.

Настройка Спамообороны

После проверки на сервисе в заголовках (headers) всех сообщений, опознанных как спам, будет содержаться служебный заголовок XoboronaspamflagYES, а в тему письма (если выбрана эта опция) будет добавляться выражение OBORONASPAM. Зная это, легко настроить фильтры на почтовом ящике, куда будет перенаправляться проверенная почта. Выполнив эти настройки, вам остается лишь настроить внешний почтовый ящик, на пересылку входящей корреспонденции на ваш адрес публичного сервиса и ждать результатов. На первое время рекомендуется настроить внешний почтовый ящик таким образом, чтобы полученные с него письма сохранялись и на нем. Это может потребоваться для первоначального контроля обработки почтовых сообщений. Убедившись, что фильтрация работает качественно, можно отменить требование оставлять почту на сервере.

Спамооборона на Яндексе

Тем, кто пользуется для переписки почтовым ящиком на Яндексе, о спаме беспокоиться ни к чему. Все сообщения, приходящие пользователям, проверяются на спам и вирусы автоматически. Вначале отбрасывается явный спам, то есть те сообщения, которые приходят от неадминистрируемых почтовых серверов (взломанных, открытых). Эти письма в почтовые ящики получателей не попадают. Но на почтовый сервер отправителя приходит уведомление об отказе принятия сообщения и его причине. На следующем этапе выполняется проверка на наличие вирусов. Если письма не содержат никакой информации помимо самого вируса, они безжалостно уничтожается. Письма, имеющие какой-либо текст, поступают в ящик получателя с пометкой «Проверить на вирусы». Все остальные письма поступают на завершающий этап проверки, когда начинает работать фильтр, помещающий в папку Спам письма, в которых программа Спамообороны обнаружила признаки спама. Вполне вероятны и ошибки при определении спама.

Спамооборона может посчитать нормальным письмо, которое вы оцените как спам. Сообщите об этом, выбрав его и нажав кнопку «Это спам». И наоборот, если вы считаете, то письмо было отнесено к спаму несправедливо, сообщите об этом, нажав кнопку «Это не спам». И не забывайте, что Яндекс. почта не позволит вам использовать свой почтовый ящик для рассылки спама. Фильтруется не только входящая, но и исходящая корреспонденция, при которой блокируются массовые рассылки и письма с вирусами.

Вместо небольшого заключения

Яндекс.Почта— сервис, безусловно, нужный и удобный. Было бы не так — е пользовались бы им сотни и сотни тысяч. Но плюс этой почты в некоторых случаях оборачивается минусом. Некоторые компании, предлагающие, примеру, программное обеспечение, не склонны предоставлять временные ключи пользователям, чьи почтовые ящики находятся на публичных бесплатных сервисах. Работу в Яндексе начал в 2003 году в качестве руководителя службы Яндекс.Новости.

Комментарии

Оставить комментарий

Вы должны войти, чтобы оставить комментарий.