Как одна Сара заменила отдел модераторов

В последние годы о нейронных сетях, их пользе и эффективности написано немало статей. Безусловно, тема интересная, особенно если можно не только углубиться в дебри терминов и тезисов, а еще и узнать о реальном применении сего инновационного чуда.

В этой статье мы хотим рассказать о том, как мы разработали и применили нейронную сеть для оптимизации работы над нашим контентом и что получили на выходе.

Итак, предыстория такова. Как каталог товаров и услуг, Satom.ru имеет четкую структуру. Для удобства пользователей все товары распределены по рубрикам, что значительно облегчает их поиск и продвижение. Каждый из нас покупает что-то в интернет-магазинах, поэтому все в курсе, как важна удобная структура и логичная классификация товаров. Именно поэтому на Satom.ru работа с рубрикатором имеет максимальный приоритет.

Процесс это трудоемкий, а главное - бесконечный: клиенты (владельцы интернет магазинов) постоянно загружают новые товары, часто их ассортимент исчисляется десятками тысяч. Конечно, заморачиваться правильным определением рубрик для такого количества товаров у клиентов нет ни времени, ни желания. И даже возможность автоподбора не решает эту проблему - рубрики, предложенные системой, пользователю нужно подтвердить или отклонить, но часто даже на столь минимальное участие терпения клиентов не хватает. В итоге мы получаем рубрики, захламленные товарами, не имеющими к ним никакого отношения, а также товары вообще без рубрик, которые просто не видны в каталоге. На сайтах, созданных на нашей платформе, рубрикация не обязательна, там структура может быть любой и покупатель может просматривать папки, искать товары в списке и т. д. Каталог же совсем другое дело - его структура едина. Поэтому беспорядок, конечно же, отталкивает покупателя, да и репутация каталога страдает.

Для того, чтобы поддерживать рубрики в порядке, мы не один год содержали целый отдел модераторов. Ежедневно они прорабатывали товары в каталоге, перемещая в нужные рубрики. Мы всячески оптимизировали их работу, дорабатывая функционал, чтобы по максимуму ускорить и автоматизировать процесс. Как вы понимаете, все это обходилось нам в копеечку - заработная плата, модернизация функционала, время, затраченное на контроль и проверку качества работы. Однако, альтернатив на тот момент мы не видели, поэтому обкатывали и усовершенствовали процесс, ничего существенно не меняя.

Подходим к сути. Мы всегда стараемся максимально использовать технологии для улучшения своего продукта. Над этим у нас трудится целый отдел с загадочным названием R&D IT, а если по-русски - исследование и разработка информационных технологий. Вот эти ребята и задались целью использовать нейронную сеть в нашей работе. На тот момент еще не было четкого понимания, где именно она нам пригодится, начали лишь детальное изучение вопроса, чтобы понять - пригодится ли вообще.

Начали с изучения самой сути машинного обучения, нужно было оценить перспективы его внедрения и сферы, в которых мы могли бы его использовать.

Затем, используя существующие библиотеки данных, разработали простую нейронную сеть. В основе разработки - компьютерный анализ текстов, с последующей обработкой нейронной сетью.

Дальше мы обучали нейронную сеть определению рубрики по фото товара. К нашему огорчению, точность оказалась не так высока, как мы ожидали. Сдаваться мы не собирались, поэтому начали обучение другой нейронной сети. На этот раз цель была - классификация товаров, исходя из их названия, а также названия папки, в которой товар размещен. Здесь дела пошли уже лучше. Ребята даже решили дать имя нашей нейронной сети и теперь ее зовут Сара :). Далее мы так и будем называть ее, чтобы не писать каждый раз “нейронная сеть”. На анализ данных, составление словаря и обучение Сары ребята потратили около месяца.

Итак, как работает наша Сара. Сам алгоритм распознавания состоит из 2х частей:

Сара делает прогноз вероятности, с которой товар относится к той или иной рубрике. При этом она предлагает 5 вариантов рубрик, в которых находит совпадения с названием товара. Точность результатов была такова:

Расшифруем: показатель ТОП 1 означает, что прогноз, по которому первая рубрика из списка верна, точен на 89%. ТОП 5 означает, что одна из рубрик, расположенных в списке ниже первой, подобрана верно с вероятностью 98%. Оба показателя достаточно точные и мы решили пробовать на практике.

Нам важно было понять, насколько эффективно она может сработать, позволит ли нам, хотя бы частично, исключить ручной труд, а заодно и снизить наши расходы. Но мы не спешили - для начала мы задействовали Сару в нашем алгоритме автоподбора рубрик. Параллельно, в штатном режиме товары продолжали проверять модераторы. По итогам месяца сделали срез данных - результаты были довольно неплохими, поэтому мы решили собирать статистику еще определенный период и, если динамика сохранится - менять нашу систему работы с рубриками.

По прошествии 3х месяцев мы вывели следующую статистику: для 60% проверенных товаров модераторы уже не изменяют рубрику, а лишь подтверждают ту, которая была присвоена товару.

Раньше этот показатель едва доходил до 10%, поэтому у нас были все основания считать, что это связано именно с работой Сары - она определяет рубрики так, что изменять их в большинстве случаев не нужно. Это было уже кое-что и мы начали нашу небольшую реформу.

Совсем отказываться от ручного труда было еще рано, но минимизировать его - уже вполне можно. Поэтому из 12 модераторов мы оставили 6, наиболее продуктивных и добросовестных. Они перепроверяют результаты работы Сары и корректируют их, при необходимости. Параллельно мы начали разрабатывать новую программу обучения, которая позволит еще повысить точность подбора. На эту разработку и на следующий этап обучения потребуется несколько месяцев. Но мы уже оценили эффективность работы нейронной сети, видим ее потенциал, а кроме того - мы уже вошли во вкус и намерены развивать это направление и для других сфер нашей работы.

Все это перспективы, а на данном этапе наша цель - сократить ручной труд настолько, чтобы нам достаточно было троих человек, которые будут лишь частично проверять и дополнять то, что выполнила наша нейронная сеть. Сейчас у нас уже нет сомнений, что это вполне реально и искусственный интеллект - это не только тема для фантастических фильмов, а достаточно эффективный инструмент, упрощающий многие процессы. О наших дальнейших шагах в исследовании этого направления мы вам обязательно расскажем!