Лого vc.ru

Анна Артамонова, вице-президент Mail.ru Group: Как правильно бороться со спамом

Анна Артамонова, вице-президент Mail.ru Group: Как правильно бороться со спамом

Вице-президент Mail.Ru Group, руководитель бизнес-подразделения «Почта и портал» Анна Артамонова рассказала ЦП, как нужно бороться со спамом на примере того, как это делают в её компании.

Поделиться

Анна Артамонова, вице-президент Mail.Ru Group, руководитель бизнес-подразделения «Почта и портал»

С каким объёмом спама сталкивается «Почта Mail.Ru»?

Каждый день наши спам-фильтры задерживают и отсекают более 100 миллионов писем.

С помощью каких технологий Mail.Ru борется со спамом?

Наша система борьбы со спамом состоит из большого количества уровней. Часть самых мусорных писем отсекается ещё на дальних подступах — это, например, письма, которые отправляются с IP-адресов, входящих в чёрные списки (туда попадают IP-адреса, с которых идёт постоянный поток спама).

Следующий уровень – отсечка по репутации отправителя. Репутационные методы борьбы со спамом строятся на обратной связи от пользователя (или на её отсутствии — как в случае покупки черной базы, в которой много «мёртвых» или заблокированных адресов). У нас работает сложная система, позволяющая отслеживать репутацию сервиса на основе информации обо всех рассылках, которые он отправляет. Причём репутация оценивается на основе многих факторов, в том числе с учетом IP-адресов, доменов, контента. Многие репутационные системы можно обойти, сменив IP-адрес или домен; с нашей системой такой трюк не пройдёт. Даже если рассылки уходят с разных доменов или IP-адресов, система все равно узнает, кто её автор.

Мы используем машинное обучение — чем больше информации о рассылках проходит через нашу систему, тем умнее она становится и тем эффективнее распознает попытки обхода. Система обрабатывает огромные объемы данных, под их обработку и хранение выделены сотни серверов. Благодаря запуску последних нововведений в этом сервисе нам удалось снизить число жалоб на спам примерно на 20% в течение последних трех месяцев.

Ещё один слой фильтрации — контентный. Антиспам-аналитики обрабатывают поступающий к ним поток жалоб на спам, из них вычленяются характерные фрагменты, на основе которых создаются сигнатуры (наборы фрагментов и характеристик). После этого письма, соответствующие этим сигнатурам, будут отправляться в спам.

Кроме того, наша антиспам-система имеет большую базу признаков, которые характерны для спама в целом. Этот постоянно пополняемый набор эвристик применяется для принятия решения. Когда приходит новое письмо, из него вычленяется набор признаков — этих самых эвристик. Если они суммарно принимают статистически значимый вес, то письмо блокируется.

И, наконец, последний уровень антиспам-барьера Mail.Ru — персональные фильтры. Каждый владелец ящика имеет возможность отправить в спам все рассылки, которые по любым причинам ему не нравятся. Достаточно пару раз нажать кнопку «Это спам», и все письма от этого отправителя лично для вас будут доставляться сразу в папку «Спам» (если передумаете, то можно всегда зайти туда и нажать «не спам» на любом из писем отправителя, и тогда следующее его письмо придёт во входящие).

Как боретесь со спамом от вроде бы вменяемых сервисов?

Действительно, если раньше большая часть наших усилий уходила на то, чтобы отсечь однозначно спамерские письма (между собой мы называем это «чёрный спам»), то сейчас более 70% жалоб пользователей на спам поступает на письма «легальных» рассыльщиков (тоже наш внутренний термин) — это зачастую довольно крупные и известные компании и сервисы, которые общаются с клиентами по электронной почте. Такие рассыльщики обычно не скрывают своих официальных адресов, не используют для рассылки ботнеты или взломанные сети, не добавляют в письма бессмысленные тексты или грязные картинки, чтобы обмануть систему, однако пользователи всё равно недовольны.

Почему? Потому что эти компании зачастую присылают то, чего пользователь «не заказывал» и что ему совершенно неинтересно. А поскольку email-маркетинг и связь с потребителем нынче модная тема, то почтовый ящик пользователя оказывается завален письмами от доброжелателей.

Возьмём распространённую ситуацию: вы заказываете в интернет-магазине новый MacBook, потому что на старый вылился латте с корицей. Заказ пришел, вы счастливы, и тут-то магазин без предупреждения начинает засыпать вас грудами писем. Или, например, пять лет назад вы подписались на рассылки форума, а сейчас решили, что пора уже навести порядок во входящих и наконец прийти к пустому инбоксу. Но вы обнаруживаете, что кнопки «Отписаться» в письме не предусмотрено, и для того, чтобы избавиться от рассылки, нужно зайти на форум и поставить галочку в настройках (как будто вы помните пароль!). И магазин, и форум могут быть искренне уверены, что делают всё правильно, — а вы воспринимаете их как злостных спамеров. При этом каждое нажатие кнопки «Это спам» влияет на репутацию рассыльщика. Как только количество жалоб превышает критический порог, наша система начинает блокировать письма этого отправителя — и делает это до тех пор, пока он не исправит все недочеты в своей системе отправки писем.

Соответственно, сейчас мы много сил тратим на то, чтобы, во-первых, адекватно оценить поведение той или иной компании (на это как раз работает система оценки репутации), во-вторых, сделать наши принципы и действия максимально прозрачными для добросовестных рассыльщиков. Для этого мы сделали « Постмастер» — первый в Рунете и в принципе довольно уникальный и в мировом масштабе сервис, который позволяет отправителям рассылок следить за тем, как пользователи реагируют на письма, выявлять «мертвые» адреса, следить за актуальностью баз, за репутацией. Ещё один полезный инструмент получения фидбека, который мы предлагаем рассыльщикам, – FBL. Он также доступен через «Постмастер». Ну, и в дополнение к этому, мы ведём активную разъяснительную работу — сотрудники нашей антиспам-команды регулярно общаются с представителями компаний и рассказывают, за что могут заблокировать рассылку и как этого избежать, на какие вещи нужно обращать внимание при составлении писем и так далее. Вот ещё одна полезная статья, которую мы специально написали на эту тему.

Всё это собственные наработки или технологии сторонних компаний?

Как я уже говорила, значительная доля решений, которые мы применяем в борьбе со спамом, — наши собственные, но технологии сторонних компаний мы тоже используем.

Наш многолетний партнер — это « Лаборатория Касперского», решения которой органично интегрированы в нашу комплексную систему в качестве одного из фильтров. Ещё мы сотрудничаем с такими международными игроками, как Spamhaus и Return Path, благодаря которым мы узнаём о приёмах спамеров со всего мира.

Return Path, например, предоставляют нам «чёрные» и «белые» списки отправителей писем, которые мы также используем как один из вспомогательных компонентов в нашей собственной антиспам-системе.

Реально ли когда-нибудь победить спам полностью? Какой объём работы в этом направлении ещё предстоит выполнить?

В вопросах антиспама есть две стороны: с одной стороны, абсолютная защищенность сервиса от спама и, с другой, удобство пользователя. То есть, теоретически, можно очень сильно закрутить гайки в антиспаме, но тогда доставляемость валидных для получателя писем значительно снизится, а это на порядок страшнее. Здесь очень важно выдерживать баланс.

Ещё, мечтая о полной победе над спамом, важно не забывать, что спамеры очень изобретательны, и борьба с ними — это бесконечная технологическая гонка. Мы настраиваем систему — они изобретают методы обхода — мы ставим новые барьеры…

В наших ближайших планах, например, существенное усовершенствование персональных спам-фильтров. Сейчас мы работаем над дальнейшим улучшением этого механизма, чтобы учитывать персональные предпочтения и особенности поведения человека при классификации нежелательных рассылок. По каждому пользователю будет строиться его собственный «паттерн», исходя из которого мы будем понимать, может ли он, к примеру, вдруг получить письмо на тайском языке, или какова вероятность, что он сам добровольно подписался на рассылку с рекламой женского нижнего белья.

Какими технологиями в борьбе со спамом пользуются конкуренты, но не пользуется Mail.Ru?

Как одна из крупнейших в мире почтовых служб, мы анализируем всё, что есть на рынке, и стараемся в той или иной мере интегрировать все известные решения и идеи в нашу систему. Другой вопрос, что есть спорные технологии, которые, с одной стороны, позволяют хорошо защититься от спама, но, с другой, осложняют жизнь пользователям.

Например, есть политика DMARC, которую можно настроить по-разному. Если включить жёсткую политику DMARC, то почта, отправленная не с сервера владельца домена, не будет приниматься. То есть, если вы шлёте письмо с обратным адресом @mail.ru с сервера nemail.ru, оно «провалит» проверку и, как следствие, будет заблокировано. Но мы пока такого не делаем, поскольку обратные адреса @mail.ru используют и легальные отправители, которые шлют письма не через наши серверы (например, форумы, мелкие сайты, небольшие рассыльщики, а главное, пользователи, которые, например, настроили себе сбор почты в почтовый ящик другого провайдера, но хотят отвечать от имени нашего ящика).

Однако мы планируем провести работу с такими отправителями, дать им рекомендации, как правильно перенастроить отправку своих писем, и в итоге жесткую политикуDMARC все же включить. Это позволит улучшить защиту от фишинговых и мошеннических писем и повысить уровень безопасности наших пользователей.

Статьи по теме
Mail.Ru запускает онлайн-редактор документов26 июня 2014, 12:43
Выручка Mail.ru Group в первом квартале 2014 года составила 7,7 миллиардов рублей24 апреля 2014, 13:46
Популярные статьи
Показать еще
Комментарии отсортированы
как обычно по времени по популярности

Ящик мейл.ру, которым не пользовался и не пользуюсь, существует параллельно облаку, на него постоянно приходят письма. Слова расходятся с делом.

Благодаря статье заглянул в папку "спам" и обнаружил письмо, которое непонятно почему не прошло фильтры:

Приветствую!

Я нахожусь в отпуске с .... по .....
Почту просматриваю, но не регулярно. С ответом могу задержать.

Если нужна только я, пожалуйста, дождитесь моего ответа.

Если вопрос касается сотрудничества, то, пожалуйста, позвоните или напишите старшему эксперту ..... по телефону .... и/или по почте .....

Если это любой другой вопрос, то попробует помочь ......, она переадресует к нужному эксперту. Телефон: .....

Спасибо!

0

Александр, доброго дня.

Давайте мы с этим разберемся!
Для этого нам понадобится оригинал письма, попавшего в спам.
Перешлите, пожалуйста, его нам на mailsupport@corp.mail.ru.
Чтобы переслать оригинал, необходимо открыть письмо, нажать кнопку "Еще" и выбрать "Переслать как вложение".
После того, как отправите, можете отписаться здесь, чтобы мы максимально оперативно рассмотрели вопрос.

Отправил. Опубликуете тут причину? (не раскрывая, персональных данных отправителя и сотрудников в письме, а то вы мне миллионную сделку сорвете)))))

0

Александр, ошибочно сработала группа лексических признаков, нацеленных на определенную спам-рассылку (естественно не имеющую отношения к Вашему письму). Сейчас в это правило были внесены коррективы, и в будущем у Вас не должно возникнуть подобных проблем. Отвечаем без подробностей, поскольку не хотелось бы превратить обсуждение интервью Анны в форум техподдержки. В любом случае большое Вам спасибо за фидбек, конструктивная обратная связь от пользователя - один из ключевых факторов усовершенствования антиспам-системы.

не позавидуешь нагрузке мейл-ру (хотел написать "почты россии" ), пользуюсь ящиками мейл-ру для регистрации на всяких стрёмных и неизвестных сайтах/приложениях, чтобы гмыло не засорять. Спасибо за ваш труд! От меня вам, соответственно, несколько аккаунтов на моем-мире, для статистики :)

0

поддерживаю, свою главную функцию выполняет!

0

Помню зарегистрировал я как-то почту на мейле. Ни разу ни письмо не отправил, ни зарегистрировался нигде... Вообще не пользовался. Но через неделю, когда открыл, увидел там 4 спам письма.

0

У меня так приходил спам на свежий яндекс-ящик, который я нигде не светил. Но его просто подобрать было: распространеннаяфамилия@yandex.ru, видимо спамеры просто иногда наугад шлют по всем словарным словам и именам-фамилиям.
Вообще активно пользуюсь несколькими ящиками - и на яндексе и на мейле и на гмейле. Каждый для своих целей создан: личный, рабочий, учебный и т.п.
Ситуация по всем примерно одинаковая: не светил ящик - нет спама. Стоит где-то засветить или на левом форуме-сайте зарегистрироваться - привет папка спам (666).

0

Как у нас коррупционеры борются с коррупцией, так и спамеры борются со спамом.

На хабре уже много писали про магические спам-фильтры от мейл.ру habrahabr.ru/post/223149/

Здравствуйте! Вы, конечно, тут все очень красиво расписали, только вы нормальный контент и домены просто так с удовольствием тоже блокируете. Я знаю тысячи и тысячи людей email-маркетологов, которые от вас никаких конкретных ответов добиться не могут. Сказали "спам", и вам все равно, что для этого нет причин. Мы тут уже собрались с адвокатами, чтобы решить это раз и навсегда. Закон нарушаете вы чаще, чем некоторые люди, кто пытается отправить безвредные письма.

Егор, мы общаемся с людьми на рынке и объясняем про причины блокировок гораздо больше, чем тот же Гугл, например. Попробуйте от них получить хоть один ответ на тему "почему меня заблокировали". К тому же есть Постмастер, там все довольно понятно. Что касается "нормальности", контента, то мы его определяем алгоритмически и на основе фидбека пользователей. К сожалению, мне лично приходилось общаться с большим количеством маркетологов, которые отрицают даже самые очевидные правила гигиены в сборе емейлов, хотя в целом, они наверное, хорошие люди.

А теперь послушайте:

Создали мы сайт отличный и красивый. Подписчиков не собирали, а они у нас уже были на других сайтах. НЕ СОБИРАЛИ, обратите внимание. У нас было 3 домена - мы сразу определились у вас, как спамеры у вас в системе при первой же рассылки пригласительных писем на другой сайт.
Ну отлично, что ж. Конкретных ответов на "почему?" мы не получили, переписку сохранили.
Ладно. Рассылали с одного домена пригласительные письма, а второй отсылал конфирмные для системы двойного подтверждения. Лист подписчиков был идеален.
Потом заблокировали домен с конфирмными письмами. На вопрос "почему?" ответ один - спам. Рассылки были по вашим правилам и даже лучше, никакого лимита репутации превышено не было - ничего подобного и подозрительного для других не происходило.
Зато теперь мы сидим с заблокированными доменами, с которых, по вашему мнению, идет один спам.
В итоге: что же такое спам? И вам совершенно недостаточно того, что все по вашим правилам. Мы сразу же получили несколько писем, где нас назвали спамерами. И за что?
Разбираться никто не захотел и не хочет. Ну что ж, дело ваше.

Анна, так как вы можете объяснить такие действия со стороны вашей службы поддержки?

0

Егор, приветствуем!

А давайте вместе разрешим вашу ситуацию.
Если Вы уже обращались в службу поддержки, то наверняка у вас должен быть номер тикета.
Сообщите его, пожалуйста, нам сюда.
Разберемся, в чем дело, а потом все Вам расскажем.

Понятия "email-маркетолог" и "спамер" соотносятся примерно как "гомосексуалист" и "педик".

> Мы тут уже собрались с адвокатами

Шутник, тут реальные проблемы у людей

0

Да какие же вы люди?
Я последние пару недель борюсь со всяким говном, которое мне в почту приходит. Раньше просто в спам кидал, теперь решил отписываться. И что я вижу? Практически ни у одного говно-имэил-маркетолога не работает кнопка "отписаться". Или работает с 35-ого раза. Или требуется войти под логином и самому найти где в меню раскидана отписка на 18 видов рассылок. Или даже это не сработает.
Может, конкретный вы в этом не виноваты. Но вашим коллегам для блага общества следует принудительно переквилифицироваться в ассенизаторов.
Хотя наверняка и вы имеете к этому отношение. Если вас даже мэил.ру блокирует, у которого не самые привередливые фильтры. На гмейлы небось уже давно ничего не ходит?

На Gmail все прекрасно.
У многих интернет-магазинов и в "шарашкиных конторах" эти кнопки не работают.

У нас работает и с первого раза, потому что мы никого насильно не держим - это незаконно. Мы тут о справедливости к тем пишем, кто поступает справедливо. А ни к тем, от кого невозможно отвязаться.

Есть и нормальные люди, и очень раздражает, что к ним относятся, как ко всем остальным.

На удивление себя поддержу Анну, я по своей работе иногда по 2-3 раза в месяц пишу на абуза собака корп.майл.ру и если не считать долгого ожидания ответа, то всегда все решается, да, может ненадолго, может не на 100%, но решается. Я почему-то всегда добиваюсь конкрентной причины и как ее решить, мы решаем и письма снова летят. К слову, письма наши, это регистрации, информация для пользователя о его аккаунте, это и рассылки, но все легально и пользователь ждет писем, бывают курьезы, когда юзеры нас сами блокируют а потом в слжбу поддержки жалуются что перестали письма приходить, все бывает, но на майл.ру тут не погрешишь никак.

Учитывая тонны недавних статей на Хабре, про странные фильтры мэйлру, которые пропускают спам, а нужные письма, по каким-то магическим причинам, не пропускают, статья и заголовок выглядят как минимум странно.

Вот-вот. Особенно учитывая события на Хабре.
Анна, вам это ни о чем не говорит? Может хватит карать невиновных и пропускать спам?

У меня полон ящик спама на mail.ru, но зато мои письма не отправляются. Скажите же, в чем дело?

ЭТО СКАНДАЛ.

0

я Вам так скажу, при выборе анкеты у нас в отделе есть правило - если у соискателя имейл на майл.ру, то его автоматом отказывают. По одной причине, или человек не хочет свой обычный имейл предоставлять или настолько не в теме, что имеет основной ящик на майл.ру.

Посмотрите, что твориться в интернете. Откройте глаза!

Вот вам прекрасный пример: vk.com/tproger_null?z=photo-72495085_332963480%2Falbum-72495085_00%2Frev

0

Оценивать кандидата по ящику или знаку зодиака вместо оценки его профессиональных качество это какое-то самодурство.
Хотя если у вас они в очередь стоят, то хозяин - барин.

У нас такая же проблема. Саппорт мэйл.ру говорит мол наш домен попал в черный список крупнейших антиспам систем, ну мы соответственно проверили так ли это, оказалось не так. Ни в одном из антиспам систем мы не числимся. Система мейл.ру по какой-то странной причине нас банит, хотя вот уже 2 года мы слали тысячи писем нашим подписчикам без проблем. В общем магический сервис этот мейл.ру.

0

Друзья, если у вас возникают проблемы с блокировкой рассылки и при этом вы абсолютно уверены, что все делаете по правилам, и рассылаете письма действительно только тем пользователям, которые давали на это согласие, а противная служба поддержки не реагирует должным образом, пишите нам на mailsupport@corp.mail.ru.

Будем разбираться и сделаем все возможное, чтобы помочь вам.

Ящик на gmail - редкий пропуск СПАМа.
Ящик на mail.ru - СПАМ стабильно пропускается.

Ох, дискуссия развернулась. Ящик на mail.ru держу уже лет 10-12, в основном для личных дел. Засвечен был уже, наверное сотни раз в различных регистрациях и прочем. Рассылки на ящик идут, а откровенный спам не более 1-2 писем в неделю проходит (из нескольких сотен). Мы много работаем с рассылками - на мой взгляд Mail.ru - наиболее прозрачный сервис, если выполнять все правила, которые они публикуют у себя в "помощи". Да, некоторые рассылки блокируются (смотрим по postmaster), но чаще всего это связано с контентом рассылки. Изучили, исправили, посоветовали автору так больше не писать.

И, кстати, замечу, что пока Mail.ru единственные, кто активно вступает в открытый диалог с "рассыльщиками". У нас на Mailing Day они уже третий раз готовы ответить на вопросы и разобраться с конкретной ситуацией каждого.

0

Поддержу mail.ru, потому что у них пожалуй самая работающая поддержка, они в принципе отвечают на обращения, и пытаются хоть как то разобраться в отличие от других известных почтовиков, создают в помощь сервисы вроде Постмастера и тп.
Но есть и некие противоречия, действительно для меня например загадка почему чистый домен может при первых же рассылках блокироваться в спам несмотря на положительную статистику на Постмастере, тут идет явная нестыковочка с заявления mail.ru о индивидуальной фильтрации спама после жалоб пользователей.
Уровень ошибочных блокировок у системы фильтрации спама mail.ru довольно высок, и причина тут не в том что в письмах у отправителей нет кнопки «Отписаться», а в банальной лени пользователей. Пользователь не хочет разбираться где у очередного отправителя кнопка «Отписаться», и предпочитает нажимать на кнопку «Спам» в интерефейсе почты mail.ru потому что этот интерфейс давно ему понятен и привычен.
Почему бы mail.ru не изменить формулировку кнопки «Спам» на «Отписаться» для новых писем? Благодаря отчетам FBL отправитель мог бы отписывать таких пользователей из своих рассылочных листов, а вот уже если бы он этого не делал и продолжал бы отправлять письма на отписавшийся адрес, тогда бы кнопка менялась на «Спам» и к такому отправителю можно было бы абсолютно справедливо применять блокировки.
Сейчас же, даже если отписывать пожаловавшихся пользователей по FBL, их нажатия на кнопку «Спам» все равно портят карму, а так первое нажатие было бы на кнопку «Отписаться» и например не портило бы историю хорошему сервису который без вопросов отписывает пользователей.
Почтовым сервисам нужно перестать действовать однобоко, необходимо понять что не только отправитель может что то нарушить, но и пользователь который подписался мог быть не внимателен, ни для кого не секрет что ради получения плюшки люди идут на что угодно, подписываются не читая соглашение, а потом жалуются, мягко говоря это не честно с позиции пользователя.

К сожалению обнаружил что у вас в сервисе "Обратите внимание, без DKIM-подписи просматривать статистику в Postmaster@Mail.Ru невозможно."

Хотя тот же Яндекс.Postoffice статистику для моего домена показывает нормально.

0

Да, mail.ru нас оооочень "любит", оно и заметно. Понятное дело, что для вашей поддержки тут может миллион людей зарегистрироваться и написать целую статью. Вы так всегда и берете количеством. Скоро ваша власть закончится, так как вы не сможете сдерживать поток жалоб на вас.

0

Возможность комментирования статьи доступна только в первые две недели после публикации.

Сейчас обсуждают
Слава Діонісьєв

К роскомдозору стоит очередь

Роскомнадзор заявил об отсутствии претензий к Netflix из-за «непопулярности сервиса» в России
0
Показать еще