Как организовать Data Science соревнование на Codenrock

Codenrock по итогам 2022 года вырывается в уверенные лидеры по количеству проведенных чемпионатов по обработке и анализу данных. Это обусловлено как ростом популярности Data Science чемпионатов, так и техническими возможностями платформы, которые привлекают компании. Но об этом ниже, а сейчас посмотрим, зачем компании проводят такие чемпионаты, какие проблемы они пытаются решить, какие цели ставят. А также разберем, из каких этапов состоит подготовка классического DS чемпионата.

Компания имеет бизнес-задачу, которую можно конвертировать в задачу для дата-сайентистов. Участники чемпионата обучают кастомную модель, а компания выбирает лучшую.

Концепция чемпионата проста:

Теперь, когда понятна концепция, перечислим основные причины, побуждающие компании организовывать Data Science чемпионаты:

В час «X» мы открываем страницу конкурса, которая содержит всю необходимую информацию, такую как описание конкурса, правила участия, вопросы-ответы и другие информационные блоки.При регистрации на мероприятие участникам предлагается заполнить анкету, заранее установленную организатором.

После заполнения анкеты участнику доступен функционал командообразования: он может или присоединиться к уже существующим командам на мероприятии, или создать свою. К слову, по решению организатора конкурс может быть настроен и на одиночное участие, в котором этот шаг не требуется.

При соблюдении всех дополнительных условий, которые может установить организатор мероприятия (наличие команды, прохождение модерации), участнику открываются задачи. Задач может быть любое количество, участник может попробовать решить как одно, так и принять участие во всех представленных задачах.Для формирования задачи по ML (Machine Learning) организатор должен предоставить:

Также сильно повышает вовлеченность и конверсию предоставленный бейзлайн решения, от которого участники могут отталкиваться в своей работе.

Когда участник открывает задачу, платформа генерирует для команды Gitlab репозиторий с бейзлайном решения. Участник может перейти в него, авторизоваться и приступить к выполнению задания. Система построена на контейнеризированной сборке. Это значит, что в выданном репозитории обязательно будет готовый Dockerfile, который будет собирать код решения участников и отправлять на инференс (расчет модели). Все хлопоты по организации сборки и инференса, а также процесса расчёта решений Codenrock берёт на себя.

Gitlab участников настроен таким образом, что после каждого изменения в основной (main) ветке последний commit собирается с помощью Gitlab CI/CD и по готовности может быть рассчитан. После сборки на странице задачи на Codenrock появляется кнопка «Проверить решение», при нажатии на которую запускается инференс последней сборки на сервере с GPU, чаще всего используем NVIDIA Tesla T4 или NVIDIA A100.

При проверке к решению “подкладываются” тестовые данные, и после выполнения забирается результат — как правило, .csv файл. Полученное решение проходит проверку через предоставленную метрику (scoring.py), и полученный результат записывается в лидерборд. Краткая схема работы DS соревнования с использованием Gitlab нарисована ниже.

Стоит отметить, что такая схема набирает популярность как у нас, так и на других площадках, а у участников становится всё меньше проблем с освоением docker, чем было раньше.

Данные и описание задачи

На первом этапе подготовки определяется и описывается задача, подготавливаются данные, которые потребуются для решения. Определяется метрика, по которой будет рассчитываться эффективность решений участников.

Стоит сконцентрировать внимание на то, какие данные вы можете сделать публичными, а какие нет, и как сделать данные безопасными для публикации, чтобы не скомпрометировать ваш бизнес или ваших клиентов. Этап подготовки данных — один из самых продолжительных в процессе подготовки чемпионата. В зависимости от ваших целей, вам могут подойти и синтетически данные, например, если ваша цель — это в первую очередь развитие HR-бренда и найм специалистов.

Чтобы сделать этот этап менее ресурсоемким для сотрудников вашей компании, Data Science команда Codenrock может взять подготовку данных и описание задачи на себя частично или в полном объеме.

Когда задача и данные готовы, наступает момент подготовки baseline модели — базовое решение, отталкиваясь от которого участники начнут создавать свои решения, улучшая базовое, или начнут с нуля, чтобы создать свое уникальное. Этот этап также важен для организаторов — он позволят провалидировать задачу и данные на ошибки, тем самым обеспечив качество чемпионата и полученных решений.В этом материале мы не будем сильно углубляться в процессы организации, связанные с упаковкой и продвижением чемпионата — с этим вы можете ознакомится в одной из наших статей Как организовать офлайн и онлайн-хакатон. Тут мы только обратим внимание на то, что следует учитывать специфику задач при подготовке медиаплана, чтобы получить аудиторию, которая будет способна решить вашу задачу. У нас этот процесс поставлен, база пользователей Codenrock отлично отсегментирована, что позволяет достаточно точно приглашать пользователей к участию в вашем чемпионате.

Решения оцениваются автоматически в соотвествии с выбранное метрикой. Во время оценки платформа может учитывать сразу несколько параметров, например, точность и скорость работы модели. Результаты автоматической проверки сразу становятся доступны участнику и также отображаются в лидерборде.

Нередко ТОП-5 или ТОП-10 решений из приватного лидерборда подвергается ручному ревью, чтобы проанализировать подход к решению, дать обратную связь командам.

Стандартом для DS соревнования является награждение денежными призами, но вы можете не ограничиваться только этим. Участников мотивируют не только краткосрочная выгода, но и наличие перспектив для дальнейшего сотрудничества с вами, получение опыта.

В конце хочется привести немного статистики за последние 12 месяцев:

Подберём лучшее IT-решение для вас. Свяжитесь с нами.