Это пост о том, что такое хакатон и его пользе, о нашем кейсе и опыте участия в хакатоне Россетей, о том, как можно быстро и с небольшим бюджетом получить минимально жизнеспособное решение в сфере компьютерного зрения в, казалось бы, очень короткие сроки: 24 часа вместо привычных для MVP 3-4х месяцев.
Наша цель: Показать вам, как снять основные риски, и перед тем, как вливать ощутимый бюджет, за относительно небольшие деньги получить осязаемое ИИ решение под ваши задачи. И делать так, можно не только при помощи хакатонов.
ЧТО ТАКОЕ ЭТОТ ВАШ «хакатон»?
Углубляясь в этимологию слова, мы получаем гибрид двух: хакер и марафон. Сегодня хакатоны проводятся не только по программированию, это соревнования, где специалисты из разных областей сообща работают над решением какой-либо проблемы. Обычно хакатоны длятся от одного дня до недели.
“По сути, хакатон — это соревнование, в котором командам нужно за короткое время разработать прототип продукта (например, веб-сервис или мобильное приложение) для решения определенной проблемы, с которой столкнулся бизнес-заказчик.
Этот же заказчик оформляет проблему в кейс и привлекает своих экспертов для консультаций. Команды собираются по 3-5 человек: разработчики, дизайнеры, аналитики, маркетологи и другие специалисты ИТ-сферы. Длиться такой марафон может от нескольких часов до недели. Когда хакатоны только стартовали в начале нулевых в Кремниевой долине, участники часто приходили вместе со спальными мешками и совсем не покидали площадку. Если люди непрерывно работают в команде в таком формате, у них часто получается найти нетривиальные решения для привычных задач.”
Как это происходит сейчас?
В условиях пандемии хакатоны перешли некоторые в онлайн. В одном их таких и участвовала команда VisionSystems.
Исключая формат мероприятия, остальные контрольные точки остались такими же.
Обычно хакатоны начинаются с презентации мероприятия в целом и конкретных тем, если они есть. Затем участники предлагают идеи и формируют команды, основанные на интересах и навыках. После этого начинается непосредственно работа над проектами, которая может занимать от нескольких часов до нескольких дней. Еда на хакатонах (особенно тех, которые продолжаются больше суток), это обычно пицца и энергетики. Также участники могут спать во время хакатона, если найдут, где.
https://fmf1.pskgu.ru/page/0d88bad0-f11b-4c53-9142-130576eba216?print
Завершаются хакатоны презентациями проектов, во время которых каждая команда делится результатами своей работы. Иногда хакатоны носят соревновательный характер. В таких случаях жюри оценивает участников и выбирает победителей, которые награждаются призами.
Кто организатор?
Организовать хакатон может профильный event-подрядчик.
Одни из самых известных: Angel Hack, TechCrunch, Russian Hackers, Актум, Boosters Pro и Zucker Studio. Также организатором может выступить технологический акселератор или корпорация.
Чаще всего корпорации, венчурные фонды и другие крупные игроки только финансируют эти мероприятия, преследуя плюс-минус подобные цели:
- Найти талантливых, креативных специалистов или целые команды;
- Решить конкретную бизнес-задачу;
- Запустить пилот нового приложения или сервиса;
- Инвестировать в перспективные проекты на ранней стадии.
Корпорации типа Microsoft, Google, Facebook регулярно проводят хакатоны.
В России от тренда не отстают Яндекс, Mail.ru Group, Лаборатория Касперского, Сбербанк, Газпромбанк, Альфа-Банк, Тинькофф и другие. Они проводят как внутренние, так и внешние хакатоны. Цели все те же — привлечение ценных кадров, развитие корпоративной культуры и реализация новый идей.
Какая выгода?
Участие в хакатонах помогает разработчикам познакомиться со специалистами компаний-спонсоров, продвинуть свой проект, прокачать навыки и завести новые знакомства.
Ну и забрать часть призового фонда и запустить пилотный проект с компанией, которая предложила кейс-задачу для хакатона. (Если предложила)
Спонсоры и крупные компании на таких ивентах находят проекты и команды, которые решают их проблемы или задачи эффективнее и быстрее, чем они бы сделали это своими ресурсами. Бывают, когда созданные на хакатонах продукты привлекали большие инвестиции и были куплены корпорациями, но чаще всего компании стараются не упускать новаторские продукты и идеи для собственных сервисов.
Кстати, приложение MSQRD, которое купил Facebook в 2016 году, создали именно на хакатоне.
Наш кейс
Компания Россети дала задачу на определение положения элегазового выключателя на их подстанциях.
Подстанции расположены на удаленных от города площадках. Это затрудняет передачу сигнала через камеры, а учитывая все риски, исходящие от даже небольшой ошибки, отраслевые правила требуют от персонала визуально убедиться в отключенном/включенном положении аппаратов для дальнейшего оперирования с оборудованием.
Это дорого — выезд машины и бригады из 3-х человек только для визуального контроля. Это долго, удаленные подстанции находятся в сотнях километров и добраться до них займет несколько часов. Это сложно назвать оптимизацией работы.
Решением было методами компьютерного зрения локализовывать на кадре элегазовый выключатель, определять его положение, и дальнейший мониторинг этого положения.
Детали зависели от ранее уже обозначенного канала связи: слабый он или сильный.
Рассмотрим оба случая:
При сильном сигнале канала связи используется камера на объекте: на каждый объект камера. Она передает сигнал на удаленный сервер модуля распознавания, который, в свою очередь, анализирует видео и передает ответы о положении выключателя в реальном времени. Это не тратит большое количество места на сервере, так как отправляется не вся картинка целиком, а уже проанализированная информация, где гипотетический 0 — нет, а гипотетический 1 — да.
Ответы модуля распознавания на предоставленный датасет:
- «status_of_switcher»: 1, «confidence»: 1.0, «processed_frames»: 98, «video_duration»: 32, «time_execution»: 26.38
- «status_of_switcher»: 0, «confidence»: 0.95, «processed_frames»: 144, «video_duration»: 31, «time_execution»: 27.67
При слабом канале связи будут использоваться также, камеры на каждом объекте, но уже сигнал передается не на сервер модуля, а на коробочное решение: небольшая коробочка, размером примерно с классический смартфон, которая также расположена на объекте. Она анализирует видео и отправляет мета-данные и отдельные кадры оператору.
По сути, компьютерное зрение определяет положение выключателя и, в зависимости от канала связи, передает информацию.
Что это даст заказчику?
Это значительно уменьшит количество выездов бригад для визуального осмотра в дневное время. Сейчас, на выезд и проверку оборудования, специалисты тратят около 4х часов.
С нашим решением будет экономиться время, которое можно будет оптимизировать для выполнения других задач: мы уменьшим в 20 раз время на определение состояния приборов и датчиков на подстанциях: с нескольких часов до 5-10 минут, за счет ИИ решения.
Помимо выгоды для компании, такая оптимизация позволит без промедления запускать аварийно-ремонтные работы и восстанавливать отпуск эл.энергии
Что мы делали?
В рамках пилота (за 24 часа):
Для реализации нам потребовалось создать инфраструктуру видеоаналитики на объектах, собрали все необходимые данные, интегрировали решение. Провели тюнинг модулей распознавания на основе реальных данных и включили в аналитику дополнительные датчики для мониторинга.
Для промышленного решения это будет:
- масштабирование для полного цикла аналитики
- включение в аналитику новых датчиков и приборов для мониторинга
- создание единой системы видеоаналитики для всех объектов Россетей.
То есть мы на хакатоне отмакетировали основные R&D риски (которые можно было закрыть за это время) и оставили на масштабирование самые долгие но уже сейчас понятные работы.
И таким образом мы полностью решили проблему, дали заказчикам представление о том, как это будет работать, о сроках и стоимости проекта и все это за 24 часа.
Интересно, что мы смогли так поступить с AI-проектом, у которого технологический порог входа выше, чем для среднего решения в веб-разработки, с которыми уже привыкли работать на хакатонах, и которыми уже мало кого можно удивить.
Почему это было для нас легко?
Чтобы выполнить такие макетирования, команда уже должна обладать определенными навыками и опытом, а именно:
- Делать упор не только на сильную технологическую базу, но и на продуктовый подход. Чтобы придумать, как из ИИ выкроить за несколько часов ценность. Тут очень поможет навык быстрой проверки гипотез.
- Иметь в портфолио кейсы похожей тематики, потому что их наработки можно адаптировать к уже имеющейся задаче, нам помогли вот эти:
Детекция фрода на кассах — система на существующей инфраструктуре банка по видеопотоку может обнаружить валюту и сверять эти события с автоматизированной банковской системой учета операций, контролируя мошеннические действия.
Распознавание лиц для ВКС — умный поиск, учитывающий дополнительные параметры при ранжировании похожих лиц сотрудников; разработка своего пайплана работы каскада нейронных сетей и алгоритмов машинного обучения для быстрого поиска совпадений по всем лицам в кадре, детекции и 3D reconstruction для выравнивания изображений и проверки допустимых ограничений для запуска распознавания поворота лица
Плюсом у нас уже был опыт работы с крупными клиентами, такими как СберБанк, Центр-Инвест банк. К слову, с этим кейсом мы выиграли региональный этап, прошли в финал и вышли на всероссийский уровень.
В целом
Хакатон — отличная площадка, чтобы проверить силы для новичков и для уже опытных игроков. А еще это хороший способ протестировать прототип AI-решения, не потратив при этом больших сумм и уйму времени. К примеру, пока заказчик не «пощупает» разработку, проект на основе МЛ для него словно black-бокс. Для него разумно опасаться и триста раз подумать, а надо ли оно ему? Готовое решение за 20 часов не сделаешь, но придумать, что удастся заложить в прототип, который можно пощупать, сняв максимум рисков и вынести за пределы хакатона. Такой прототип можно легко объяснить заказчику, он даст понимание, что и как делать дальше, и стоит ли овчинка выделки.
Выгода же компании-заказчика в том, что за короткий промежуток времени и небольшой бюджет (относительно полноценного решения), компания получает прототип технологического решения, оценивает его жизнеспособность, выгоду и применяемость.
Это снимет главный риск: поверив в идею, надолго уйти в разработку сложного технологичного решения, потратить бюджеты и прийти к тому, что идея полное, дорогое и не работающее нечто!
Нам попался кейс, который идеально подошел нам по виду нашей деятельности вне форума: мы консультируем, разрабатываем готовые решения для бизнеса в сфере компьютерного зрения и машинного обучения. Примечательно, что такие прототипы можно получить не только в рамках хакатона.
Если остались вопросы — пишите в комментарии или сразу в фейсбук
Это же государственная компания, для них, это деятельность ради деятельности.
Мы можем рассказать только о своем опыте. Подход, который мы описали в статье, отлично работает и с частным бизнесом.
В случаях когда у компании уже согласован весь бюджет, мы стараемся на первых стадиях, погружаясь в тему, оценить основной риск, чтобы у заказчика было больше ресурсов в управлении.
Бывают случаи, когда заказчик не хочет разрабатывать до исследований и можно либо месяцы его убеждать, либо согласовать небольшой бюджет, который все равно потратили бы на пресейл, и дальше развивать завершенное решение увеличив бюджет.
Иначе получится, что часть ресурсов заложена в пресейл, а достаточный бюджет на разработку еще не выделен.
У вас большие затраты на пресейле, и не получается сделать хорошее/качественное решение на первой итерации в рамках согласованного бюджета.
Хорошо что госкомпания пошла путем, который успешно применяется на практике.
А как вы, за 24 часа отмакетируете технологию в которой нужна точность, к примеру 90%?
Есть ряд кейсов, в которых за 24 часа абсолютно все риски не снять. Но в таких случаях, очень часто оказывается, что у заказчика еще не готовы данные.
За 24 часа можно перебрать с заказчиком все данные, оценить что на них реально построить, дать рекомендации, что нужно дособирать.
В итоге, останется риск, удастся ли получить ваши 90%, но снимутся риски того, что в целом задача не выполнима, или к примеру поймем, что с текущими данными точность выше 70% не получить.
В таком случае, за 24 часа мы бы провели полный круг сбора данных, макетирование первого решения, и выяви для заказчика главный риск - хватит ли нам данных для достижения такого качества.
Комментарий недоступен
Информация о положении и так поступает на центральный пульт, отраслевые правила требуют визуального контроля положения.
Комментарий недоступен
Продукт
А потом приходят стартаперы и корпораты и начинают втирать - ну вот же у Гугла уже есть, ну вот же ребята за 24 часа сделали. Антирекламу, короче, сами сделали.
Не совсем понял суть комментария. В статье, мы говорим о том, что завершенный продукт за 24 не сделать, но, если команда опытная, на базе своего опыта она может вытащить основные риски за 24 часа и показать их заказчику. В отличии от неопытной команды, которая риски увидит через месяцы. В целом срок разработки не измениться, но уже на старте у заказчика будет представление о рисках и реальных перспективах.
Максим, у меня тоже есть немножко опыта вот в этом всем. И вот, что я хотел сказать:
1. Заголовок для хайпа. Ок, интернет стерпит все.
2. Вы описываете как ваша экспертиза помогает в <похожей> задаче. Про риски здесь мне кажется неуместно. За 24 часа (даже если не спать) можно продумать, ну скажем часть проекта, однако дьявол в деталях. И вы не хуже меня знаете, что нет одинаковых задач, и это не мобильное приложение, где n фич добавят m часов. Тем более для CV, где угол наклона камеры, и освещение имеют гораздо большее значение, чем скажем при работе с текстом в NLP.
Итого, находясь по сторону баррикад галерщиков, меня расстраивает вот эти "24 часа" и "основные риски", которые при доведении прототипа до ума и продакшена могут занять месяцы и годы, чего потенциальные заказчики пока еще не уразумели. И каждый второй говорит, что вот эту статью возьми почитай, вот у Фэйсбука все работает - осталось слепить и поехало. А вот тут допилим, было 75% точности, получим 99.9%
Ваша боль понятна. Имел опыт нахождения по обе стороны "баррикад". И все, что дальше пишу - исключительно мой опыт и мое понимания ситуации)
Основная боль в проектах с машинным обучением - это что для заказчик продукт является черным ящиком часто до самого конца проекта (в вебе уже попроще, у заказчиков есть насмотренность). И именно это выступает часто стопфактором, а не то что есть сомнения получится ли провести тюнинг с 75% до 87%. Это тоже проблема, но следующая по порядку.
Так вот статья направлена на то, чтобы в яркой и упрощенной форме подчеркнуть, что риск "не понимаю что это и как этот блэкбокс будет работать" можно снять/снизить/сделать для заказчика более понятным даже за первые 24 часа или за любое другое доступное время. При этом сам проект в итоге не станет быстрее или проще, но вот заказчику проще станет. Что я наблюдаю на рынке сейчас: ML-команда - ну мы вам что-то ответим через 3-4 месяца R&D, этот риск вы должны принять, вы же бизнесмен. Бизнес - ну тогда бюджет на весь R&D 3 копейки, так как вообще ничего не понятно, но вроде интересно. Это попытка спихнуть риски друг на друга из-за чего страдают обе стороны. Последовательно снятие рисков по нашему опыту - это более цивилизованный подход, но более муторный, конечно. Так как нужно уметь в сложном решении не отстранятся от идеи, а что мы можем проверить за 24 часа, за первую неделю, за первый месяц и т.д. а находить такие гипотезы (просто так, как озарение они в голову не прийдут, нужно приучать ML-команду так работать, нас на это ушло около года и есть куда расти). Это усложняет проект для исполнителя, но заказчик в итоге охотнее расширяет бюджет и не происходит ситуации, когда надо собрать звезду смерти за цену "чашки чая".
Про то, как работать с другими рисками и невозможностью пояснить, в чем проблема поднять точность писали с нашими коллегами из AI Community тут. Может быть будет полезно https://rb.ru/opinion/ml-mvp/
Все так на 146%, и сомнения клиента я тоже понимаю. Я только не понимаю, зачем писать про 24 часа? Привязка к хакатону и конкретному кейсу? Это же все про популяризацию науки, и в копилку соцпамяти интернета и стартаперов.
Там ещё есть слово "прототип". Видели?
Не, не видел, я же как чукча читаю хайпо-заголовки, а там натурально черным по белому:
Как сделать осязаемый AI-продукт за 24 часа для крупной корпорацииМогу скриншот сделать. Надо?