Личный опыт Satom.ru
328

Как одна Сара заменила отдел модераторов

В последние годы о нейронных сетях, их пользе и эффективности написано немало статей. Безусловно, тема интересная, особенно если можно не только углубиться в дебри терминов и тезисов, а еще и узнать о реальном применении сего инновационного чуда.

В закладки

В этой статье мы хотим рассказать о том, как мы разработали и применили нейронную сеть для оптимизации работы над нашим контентом и что получили на выходе.

По порядку

Итак, предыстория такова. Как каталог товаров и услуг, Satom.ru имеет четкую структуру. Для удобства пользователей все товары распределены по рубрикам, что значительно облегчает их поиск и продвижение. Каждый из нас покупает что-то в интернет-магазинах, поэтому все в курсе, как важна удобная структура и логичная классификация товаров. Именно поэтому на Satom.ru работа с рубрикатором имеет максимальный приоритет.

Процесс это трудоемкий, а главное - бесконечный: клиенты (владельцы интернет магазинов) постоянно загружают новые товары, часто их ассортимент исчисляется десятками тысяч. Конечно, заморачиваться правильным определением рубрик для такого количества товаров у клиентов нет ни времени, ни желания. И даже возможность автоподбора не решает эту проблему - рубрики, предложенные системой, пользователю нужно подтвердить или отклонить, но часто даже на столь минимальное участие терпения клиентов не хватает. В итоге мы получаем рубрики, захламленные товарами, не имеющими к ним никакого отношения, а также товары вообще без рубрик, которые просто не видны в каталоге. На сайтах, созданных на нашей платформе, рубрикация не обязательна, там структура может быть любой и покупатель может просматривать папки, искать товары в списке и т. д. Каталог же совсем другое дело - его структура едина. Поэтому беспорядок, конечно же, отталкивает покупателя, да и репутация каталога страдает.

Для того, чтобы поддерживать рубрики в порядке, мы не один год содержали целый отдел модераторов. Ежедневно они прорабатывали товары в каталоге, перемещая в нужные рубрики. Мы всячески оптимизировали их работу, дорабатывая функционал, чтобы по максимуму ускорить и автоматизировать процесс. Как вы понимаете, все это обходилось нам в копеечку - заработная плата, модернизация функционала, время, затраченное на контроль и проверку качества работы. Однако, альтернатив на тот момент мы не видели, поэтому обкатывали и усовершенствовали процесс, ничего существенно не меняя.

Время перемен

Подходим к сути. Мы всегда стараемся максимально использовать технологии для улучшения своего продукта. Над этим у нас трудится целый отдел с загадочным названием R&D IT, а если по-русски - исследование и разработка информационных технологий. Вот эти ребята и задались целью использовать нейронную сеть в нашей работе. На тот момент еще не было четкого понимания, где именно она нам пригодится, начали лишь детальное изучение вопроса, чтобы понять - пригодится ли вообще.

Начали с изучения самой сути машинного обучения, нужно было оценить перспективы его внедрения и сферы, в которых мы могли бы его использовать.

Затем, используя существующие библиотеки данных, разработали простую нейронную сеть. В основе разработки - компьютерный анализ текстов, с последующей обработкой нейронной сетью.

Дальше мы обучали нейронную сеть определению рубрики по фото товара. К нашему огорчению, точность оказалась не так высока, как мы ожидали. Сдаваться мы не собирались, поэтому начали обучение другой нейронной сети. На этот раз цель была - классификация товаров, исходя из их названия, а также названия папки, в которой товар размещен. Здесь дела пошли уже лучше. Ребята даже решили дать имя нашей нейронной сети и теперь ее зовут Сара :). Далее мы так и будем называть ее, чтобы не писать каждый раз “нейронная сеть”. На анализ данных, составление словаря и обучение Сары ребята потратили около месяца.

Как это работает

Итак, как работает наша Сара. Сам алгоритм распознавания состоит из 2х частей:

  • I часть преобразует название товара с помощью специального словаря в вектор разрядностью 80000;
  • II часть передает нейронной сети тот самый вектор и делает предсказание рубрики.

Сара делает прогноз вероятности, с которой товар относится к той или иной рубрике. При этом она предлагает 5 вариантов рубрик, в которых находит совпадения с названием товара. Точность результатов была такова:

  • ТОП 1 - 89 %
  • ТОП 5 - 98 %

Расшифруем: показатель ТОП 1 означает, что прогноз, по которому первая рубрика из списка верна, точен на 89%. ТОП 5 означает, что одна из рубрик, расположенных в списке ниже первой, подобрана верно с вероятностью 98%. Оба показателя достаточно точные и мы решили пробовать на практике.

Нам важно было понять, насколько эффективно она может сработать, позволит ли нам, хотя бы частично, исключить ручной труд, а заодно и снизить наши расходы. Но мы не спешили - для начала мы задействовали Сару в нашем алгоритме автоподбора рубрик. Параллельно, в штатном режиме товары продолжали проверять модераторы. По итогам месяца сделали срез данных - результаты были довольно неплохими, поэтому мы решили собирать статистику еще определенный период и, если динамика сохранится - менять нашу систему работы с рубриками.

По прошествии 3х месяцев мы вывели следующую статистику: для 60% проверенных товаров модераторы уже не изменяют рубрику, а лишь подтверждают ту, которая была присвоена товару.

Раньше этот показатель едва доходил до 10%, поэтому у нас были все основания считать, что это связано именно с работой Сары - она определяет рубрики так, что изменять их в большинстве случаев не нужно. Это было уже кое-что и мы начали нашу небольшую реформу.

Что у нас получилось

Совсем отказываться от ручного труда было еще рано, но минимизировать его - уже вполне можно. Поэтому из 12 модераторов мы оставили 6, наиболее продуктивных и добросовестных. Они перепроверяют результаты работы Сары и корректируют их, при необходимости. Параллельно мы начали разрабатывать новую программу обучения, которая позволит еще повысить точность подбора. На эту разработку и на следующий этап обучения потребуется несколько месяцев. Но мы уже оценили эффективность работы нейронной сети, видим ее потенциал, а кроме того - мы уже вошли во вкус и намерены развивать это направление и для других сфер нашей работы.

Все это перспективы, а на данном этапе наша цель - сократить ручной труд настолько, чтобы нам достаточно было троих человек, которые будут лишь частично проверять и дополнять то, что выполнила наша нейронная сеть. Сейчас у нас уже нет сомнений, что это вполне реально и искусственный интеллект - это не только тема для фантастических фильмов, а достаточно эффективный инструмент, упрощающий многие процессы. О наших дальнейших шагах в исследовании этого направления мы вам обязательно расскажем!

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Satom.ru", "author_type": "self", "tags": [], "comments": 2, "likes": 7, "favorites": 9, "is_advertisement": false, "subsite_label": "life", "id": 61033, "is_wide": false, "is_ugc": true, "date": "Wed, 13 Mar 2019 15:54:54 +0300" }
{ "id": 61033, "author_id": 220272, "diff_limit": 1000, "urls": {"diff":"\/comments\/61033\/get","add":"\/comments\/61033\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/61033"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199123 }

2 комментария 2 комм.

Популярные

По порядку

0

А во сколько обошлось создание Сары? Хотя бы примерно, учитывая ЗП программистов и всех тех, кто принимал в этом участие.

Ответить
1

Добрый день. Точные цифры по понятным причинам приводить не будем, а если примерно - расходы на создание Сары были примерно равны годовой зарплате нашего отдела модераторов.

Ответить
0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Голосовой помощник выкупил
компанию-создателя
Подписаться на push-уведомления
{ "page_type": "default" }