Как AI помогает модерации в Kolesa Group и причём здесь инопланетяне

Как компании могут поручить монотонные задачи AI, чтобы оптимизировать работу сотрудников и помочь бизнесу масштабироваться.

Спам, мошенники, запрещённые товары и услуги, шуточные или некорректные объявления отпугнут любого пользователя от сервиса или приложения. Бизнес, который хочет расширять клиентскую базу, делает всё, чтобы до пользователя доходила только релевантная и нужная информация.

Сердце IT-продуктов Kolesa Group — это объявления о продаже и покупке авто, недвижимости, товаров и услуг. Ежедневно пользователи компании подают 83 тысячи объявлений, которые нужно проверять на корректность. Кто и как обрабатывает такой огромный поток информации?

Мы поговорили с Индирой Альденовой — руководителем отдела модерации Kolesa Group. Отдел состоит из 39 человек. Каждый год поток объявлений увеличивается, бизнес растёт, а отдел модерации численно прирастает минимально. Как им удаётся масштабироваться и эффективнее бороться с некорректными объявлениями, не раздувая при этом штат?

Взяв за пример свой опыт, она расскажет о внедрении AI (искусственный интеллект) в модерацию и о том, какие результаты им это принесло. Далее с её слов.

Проверяется всё, что поступает на сервис: объявления, отзывы, комментарии, кабинеты и заявки от специалистов.

Ручная модерация работает по классической схеме.

1. Объявление попадает на проверку к модератору. Он задается вопросами:

- Есть ли на этой фотографии что-то, чего не должно быть видно?
- Есть ли в этом сообщении запрещённые слова или приватная информация? и т.д.

2. Если нарушения обнаружены, модератор может принять решение, как их исправить или отклонить.

Казалось бы, ручная модерация — это проще и дешевле, но дело не в экономической выгоде. Главное в ручной модерации — накопление исторических данных и выстраивание системы работы с этими данными, которые лягут в основу будущей ML-модели.

Благодаря чётко выстроенной работе с ручной модерацией, мы не строим с нуля процесс автомодерации — он идёт параллельно.

Мы размечаем данные для ML-моделей. Зачем: чем больше модель «увидит» примеры того, что мы считаем правильным или неправильным, тем лучше обучится. И сможет в будущем забирать значительную часть работы на себя.

Автомодерация осуществляется по тексту и фото.

Текстовая автомодерация актуализируется списком стоп-слов и выбором параметров. Например:

- Одна модель определяет, правильно ли указана категория в объявлении, чтобы в авто не подавали запчасти;
- Другая модель отвечает за проверку текста на наличие нежелательных слов в объявлении;
- Третья модель отвечает за адекватность цены в предложении. Ведь за дешёвыми объявлениями часто скрываются мошенники. И так далее.

Фотомодерация состоит из 8 разных ML-моделей: люди, скриншоты, дубликаты, оружие и т.д. Логика её работы:

1. Пользователь подаёт объявление.
2. Автомодерация скачивает все фотографии этого объявления.
3. Определяет очерёдность модели для проверки фотографий.
4. Если на каком-то этапе модель найдёт ошибку на фото, то дальнейшая проверка прекращается и выдаётся результат.

Возможные варианты ответов:

- опубликовать
- отправить на ручную модерацию.

Автомодерация не отклоняет фото самостоятельно.

Но AI не всегда понимает, что делать с объявлением. В таком случае объявление отправляется на ручную модерацию. Автомодерация забирает на себя 85% всего потока объявлений.

Рассмотрим работу автомодерации на примере продукта Kolesa.kz. Основные факапы автомодерации приходятся на фото:

Кейс 1 — НЛО

Недавно у нас было «нашествие инопланетян». Пользователи подавали шуточные объявления, и фотки завирусились в соцсетях. Причина — фотографии, которые AI не может распознать.

Кейс 2 — AI распознаёт запчасти как животные, оружие.

Такие кейсы мы собираем и забираем на переобучение модели.

Основной фокус внедрения автомодерации — освобождение ресурсов команды для:

•‎ более тщательной проверки подозрительных объявлений для защиты пользователей от мошенников;

•‎ повышения качества объявлений;

•‎ более быстрой и качественной обработки обращений от пользователей.

Благодаря автоматизации модераторы смогли сфокусироваться на более интеллектуальном труде. А именно:

1. Помогают анализировать показатели модерации для разбора кейсов и повышения эффективности.

2. Проводят мастер-классы, воркшопы, обмены опытом для того, чтобы качественных объявлений было как можно больше.

3. Повышают скорость проверки объявлений

4. Участвуют в программах роста и развития. Это даёт им возможность расти в тимлиды или осуществить карьерный переход в другое IT-направление.

Качество ручной модерации — 99,9%

Качество автомодерации — 99,4%.

В продуктах Kolesa Group крутится 60+ моделей. Работа над переобучением ML-моделей, а также повышением качества и эффективности автомодерации ведётся постоянно.

1. Сократили время проверки объявлений с 15 минут до пары секунд.

2. Сократили время ручной модерации с 15 до 10 минут.

3. Снизили нагрузку на модераторов — автомодерация забирает на себя 85% текста и фото.

4. За счет автоматизации рутинных процессов смогли перераспределить ресурсы на другие задачи.

1. Улучшение качества автомодерации.

2. Разбор ошибок, переобучение модели за счет разметки изображений/текста.

3. Обучение основным триггерам с объявлениями от мошенников, отправлять на ручную модерацию для дополнительной проверки.

Внедряя AI в свои процессы, важно помнить, что поддержка его эффективности — это постоянный процесс анализа и проработки ошибок.