Как мы делали нейросеть для прогнозов на TI 8, батлили с GOSU, схватили бан на Reddit, и чем это всё закончилось :D

Если кто вдруг не в курсе, то недавно завершился крупнейший турнир по Dota2, The International 8, на котором сошлись лучшие команды со всего мира в борьбе за почёт, уважение и 25 000 000 долларов.

Moremmr.com как проект посвященный Dota2 сие событие проигнорировать не могли. И за месяц до турнира начали клепать тематический контент в соц. медиа, закидывать соответствующую инфографику на Reddit и сайберспорт и т.п. Однако, наша радость была бы неполной, если б мы не попробовали сделать что-то помасштабнее. В итоге, мы решили запустить конкурс прогнозов с призами и собственную машину предсказаний, собрать 100500 миллионов трафа и быть довольными собой. Однако, все вышло немного не так....

На самом деле, нейросеть у нас уже была. Но давайте обо всём по порядку...

Первой нашей аналитической разработкой стал сервис “Анализ матчей“, который автоматически находит ошибки в матчах наших пользователей.

Мы выделили 24 вида распространенных ошибок и научились находить их в логе событий игры, который получаем из реплея матча. После этого формируем пользователю рекомендацию.

Каждая рекомендация индивидуальна, имеет несколько подвидов, учитывает героя, роль, линию и т.д. В рекомендации мы показываем примерную оценку, на сколько процентов снизилась вероятность выигрыша из-за каждой ошибки.

Всего в месяц нашей платформой анализируется более 10 000 000 игр пользователей (Статистика за Июль)

В прошлом году у GOSU зашла фишка, которую они делали для Epicenter XL: они показывали, на кого из игроков турнира ты похож. Мы подумали: а чем мы хуже? И запустили собственный сервис сравнения с PRO, только уже под TI8 ( а потом и вовсе решили интегрировать в продукт, так что теперь это постоянно обновляемая фича в “анализе матчей”)

Так родился сервис “Кто ты из ПРО-игроков?”. Пользователь загружает игру, мы сравниваем её с играми PRO и выдаем результат типа “каким полководцем ты был в прошлой жизни :D”

Мы взяли игры участников предстоящего TI8 и топ-50 команд по рейтингу ЭЛО. Всего в сравнении участвует 200 PRO-игроков, при этом было выгружено около 100 000 матчей PRO-игроков (включая паблик игры, дабы увеличить выборку).

Сравнение строится на двух группах параметров:

• Финальная статистика игрока: KDA, GPM, XPM, общяя ценность и т.д. - Мы включили их в выходной вектор признаков.
• Финальный закуп. Чтобы корректно сравнить два закупа, отдельно обучили нейросеть, перегоняющую айтем билд в числовой вектор, и уже он включался в финальный вектор признаков. На выходе получили вектор размерности ~30.

Данная функция развлекательная, однако пользователь может посмотреть, чем отличалась его игра от ПРО, сделать выводы, которые улучшат его игру.

С вышеизложенным багажом мы принялись создавать нашу машину прогнозов.

Собственно, если кратко, то было выгружено порядка 2 000 матчей с официальных турниров. Модель обучалась предсказывать вероятность победы по определенным показателям матча. Учитывались как и командные взаимодействия, так и индивидуальные показатели каждого игрока.

Итак, у нас есть:

• AI, который предсказывает все результаты плей-офф.
• конкурс среди подписчиков, которые соревнуются как с AI, так и между собой за призы ( кстати, спонсорам огромное спасибо, очень оперативно и с энтузиазмом к нам присоединились ФОНБЕТ, Warp и HyperX)
• Ну и вполне себе рабочий маркетинг, для вовлечения широких масс :D

Дальше началось веселье!))

Аудитория moremmr.com с энтузиазмом отправилась предсказывать исходы, обсуждать это в социалках и т.п. А вот с новыми пользователями всё сложилось драматичнее, ВК и ФБ однозначно трактовали наш спецпроект как “беттинг” и блочили рекламу.

Что ж, не мытьем так катаньем, подумали мы, выделив лишних Аркан для конкурсов репостов, нагрянули в дискорд, на форумы и т.п., а безотказно работающий ютюб резко опустел и в разы просел по просмотрам. Тут спас существенно выросший CTR, что не мудрено, реальные призы на халяву мотивируют невероятно :D

Чего-то не хватает верно? Верно. Не хватает Redditа, где в канале Dota2 обитают полмиллиона дотеров. И мы, наточив перья, принялись строчить призывные посты про наш AI и конкурс.

И вот, мы релизим первый пост. Мол, “роботы против людей, люди против друг друга”, AI от MoreMMR и конкурс...Все умеренно хорошо, тред понемногу растёт, а главное, не получает вагон негатива ( это победа :D ).

Однако, робкая улыбка надежды внезапно стала походить на Гарольда, когда мы увидели аналогичный тред Госу, пробивающийся в топ Хот уже часов 5.

Что ж, дней в TI 8 много, мы что-нибудь придумаем….

На следующий день случилось эпохальное :D, наш прогноз оказался немного лучше, чем у ГОСУ, т.е. первый день мы выиграли))) О чём не преминули написать, а также сделать это раньше “конкурентов”. Естественно, наше неравнодушное корпоративное комьюнити и подписчики нагрянули в тред, да и сторонние разгоряченные геймеры уже участвовали в обсуждении. Что привело нас уже в топ-10. :D

В общем, за пару дней задача с освещением нашего AI и конкурса переросла в заочное соревнование с ГОСУ и по точности прогнозов, и по медийности)

Что ж, окрыленные успехом мы настрочили очередной прогноз/вывод по предыдущему дню и пошли на штурм Redditа….И всё было хорошо...пока не стало плохо. Вечер был томным, тред выполз на 11 место, а Reddit закатал бан на наш акк и всех причастных (и не очень) приписал туда же :(( А так хорошо всё начиналось.

Формулировка была понятна: “за манипулирование голосами и т.п.”. Да и объяснялась просто - особым рвением команды и друзей, которые орудовали в комментах с едва зареганных аккаунтов. Под горячую руку попал даже наш Santa (участник The International 2011, стример), у которого, как оказалось, пустой акк, с которого он “только читал”. Усугублялось всё импульсивным финальным комментом, в котором нас распяли за то, что “мы каждый день переделываем прогнозы, дабы показать, что они на 100% верные” ( и это в теме с содержанием типа “мы угадали 3 из 5, и теперь даём новый прогноз на следующий день”).

Что ж, сутки в переговорах с Reddit, и клеветнический коммент был удалён. Однако, баны остались. С тех пор никакого ТОПа нам не светило ( надеюсь, что этот пост изменит ситуацию :) ).

Засунув все свои претензии и недовольство куда поглубже (а злиться, по сути, было не на кого, кроме себя самих, хотели-то как лучше), мы атаковали Твиттер своими прогнозами, начав, помимо постинга, активно продвигать предсказания нашего AI под теми постами, где это было уместно.

Разумеется, охвата было поменьше, но тем не менее интерес к подобным прогнозам остался. Нам и самим было интересно, чем это все закончится.

По точности прогнозов закончилось все неплохим камбеком от наших конкурентов. Перед последним днем обе нейросетки шли ноздря в ноздрю, у обоих искусственных интеллектов было по 12 угаданных матчей из 20. Однако в последний день наш AI сделал ставку на Evil Geniuses, в то время как машинка наших оппонентов предсказала победу PSG в нижней сетке и победу OG в финале.

Душой мы конечно были за N0tail и компанию, нам всегда приятно видеть, как побеждают андердоги, на которых никто не ставил. Однако наш AI был уверен, что EG сделали выводы после поражения от OG в верхней сетке и что “Злым Гениям” под силу выиграть The International во второй раз.

Итоги битвы AI:

• Автоматический анализ ошибок игроков MoreMMR AI: 12/22 верных предсказаний
• GOSU.AI: 14/22 верных предсказаний

Не смотря на то, что технически наш AI проиграл битву в напряженной войне, нашу команду это абсолютно не расстроило.

Во-первых, данный баттл AI изначально задумывался как развлечение, и развлеклись мы порядочно))).

Во-вторых, у нас появился отличный задел на будущие турниры и новый опыт.

В-третьих, за нашими прогнозами следило более 250 000 человек, а в конкурсе поучаствовало 6000+ участников.

Оказалось, что наш AI способен предсказывать ничуть не хуже “этих жалких людишек” (смеется как робот Вертер). Сам факт, что среди 6 000 живых участников конкурса прогнозистов наш AI занял почетное 12 место, говорит сам за себя.

В общем, мы тут подумали и решили продолжать. Впереди нас ( и вас) ожидают не менее яркие и захватывающие турниры, так почему бы и не продолжить битву?

Так что, GOSU, BING, и другие желающие с наличием AI, давайте запустим уж официальную битву роботов-прогнозистов?!

Например, в октябре стартует очередной ESL One Hamburg...В пору уже посадить роботов за обучение ! ;):)