Более 70 команд и свыше 300 человек из 64 городов приняли участие в работе над треком «Мегаполис Москва», который прошел в рамках одного из самых масштабных онлайн-хакатонов страны VirusHack. Организаторами мероприятия выступили Агентство инноваций Москвы и «Ростелеком» в партнерстве с Российской ассоциацией электронных коммуникаций (РАЭК).
В результате слаженной и напряженной работы команд программистов и экспертов были выбраны пять лучших инновационных проектов: бот-информатор для мессенджера ICQ New, бот-терапевт, робот-секретарь для переговоров, автоматизированная касса с функцией голосовой бесконтактной оплаты покупок, а также сервис для помощи людям с ограниченными возможностями в получении доступа к аудиовизуальному контенту.
Бот-информатор для мессенджера ICQ New
Лучше всего с задачей от ICQ New (Mail.ru Group) справилась команда EGD BAG. Её участники разработали информационного бота для мессенджера ICQ New, который будет сообщать пользователям о распространении коронавирусной инфекции.
По геотегу люди могут получать сведения о новых и старых случаях заражения граждан, узнавать адреса ближайших медицинских учреждений и лабораторий для сдачи тестов на COVID-19 и адреса ближайших к ним аптек и магазинов. Также в бот встроен упрощенный генератор SMS-сообщений для получения электронного пропуска.
Для регулировки вычислительных потоков при написании бота были использованы стандартные инструменты языка Java. Чтобы значительно упростить работу бота, была выбрана API-библиотека от ICQ. Также была решена задача по упрощению развертывания бота в продакшн-среде: зная, что стандартом в корпоративной разработке сейчас является Docker, команда EGD BAG подготовила Docker-образ.
В итоге получился продукт, простой в модернизации и приспособленный к масштабированию. Функционал бота будет актуален и после пандемии: возможности поиска лабораторий легко заменяются на поиск фитнес-центров, ресторанов и других городских объектов.
Бот доступен уже сейчас по ссылке.
Бесконтактная оплата покупок
Команда Buckwheat42 лучше остальных справилась задачей X5 Retail Group по разработке дополнительной функций голосового ввода для бесконтактной оплаты покупок в супермаркетах «Пятерочка».
Проект был разработан на языке Python. В основе прототипа лежат open-source технологии перевода речи в текст (speech-to-text) и модуль обработки и анализа полученного текста (Natural Language Understanding). Из доступных библиотек для преобразования голоса в текст была выбрана kaldi, так как она быстро работает и дает относительно высокое качество распознавания не только русского, но и целого ряда других языков.
По условиям задачи для облегчения интеграции решения в текущее программное обеспечение касс голосовые запросы покупателя транслируются в сообщения на базе текущего API кассы. Для удобства развертывания и тестирования прототип был собран в технологии Docker.
Для каждой операции этот модуль выявляет намерения (интенты) пользователя, извлекает произнесенные названия продуктов, а также штрих-коды, номера карт лояльности, купоны и другую сопутствующую информацию.
Функция работает без доступа к интернету или внешним сервисам преобразования голоса.
Робот-секретарь для переговоров
Команда Import this успешно выполнила задачу от SberCloud по созданию робота-секретаря. Эта программа сочетается с любыми сервисами для онлайн-переговоров, включая известные Zoom, Skype и Teams, а также подходит для офлайн-переговоров.
Робот-секретарь умеет распознавать речь, различать голоса собеседников, угадывать настроение человека по тональности произнесенных слов. Он способен замечать, когда люди планируют встречи и звонки, и сохранять эти задачи в календаре или CRM-системе. Робот-секретарь переводит человеческую речь в текстовые сообщения, а после переговоров сохраняет эти сообщения в doc-файле.
Команда разработчиков Import this сделала техническую часть робота-секретаря (backend) на языке программирования Python, а внешнюю часть (frontend) - на программных платформах Vue.js и Electron.
Для распознавания текста и голосов была временно использована Google Cloud Speech API, однако в будущем она будет заменена на более подходящую модель. Для анализа эмоций собеседника через тональность текста задействовали библиотеку Dostoevsky. Чтобы выделять из текста договоренности о звонках и встречах, была использована библиотека обработки естественного языка NLTK.
Доступ к аудиовизуальномуконтенту для людей с ограниченными возможностями
Компания Uma.Tech выступала постановщиком социально значимой задачи «Равные возможности», где командам-участникам предлагали разработать решение, упрощающее людям с ограниченными возможностями взаимодействие с платформой PREMIER и с сайтом МАТЧ ПРЕМЬЕР или восприятие размещенного на них контента.
В рамках поставленной задачи команды придумывали способы упрощения доступа к сайтам и к медиа для людей с нарушениями слуха, зрения, мелкой моторики и концентрации внимания. Сложность хакатона для команд состояла в проблеме точной постановки задачи – слишком широк спектр возможных вариантов – и в традиционной ограниченности времени на разработку. Поэтому в рамках хакатона жюри принимало как действующие прототипы, так и проработанные концепции.
Победителем стала команда XGBeasts, разработавшая нейрокомпьютерный интерфейс для взаимодействия с web-страницами. Принцип работы сервиса заключается в обработке данных, приходящих с нейроинтерфейса, размещенного на голове пользователя. Эти данные представляют собой описание намерений человека нажать определенную кнопку на экране компьютера. При помощи алгоритмов искусственного интеллекта эти данные распознаются, и затем программа нажимает ту кнопку, которую хочет нажать пользователь.
Чат-бот с функциями терапевта
Лучше остальных задачу от ООО «Мобильные медицинские технологии» по созданию бота-терапевта выполнила команда Dev labs. Её программисты создали сразу три решения:
· чат-бот, который быстро сможет определить вероятность заболевания COVID-19 и дать рекомендацию (связь с врачом или вызов скорой);
· онлайн-помощник, который даст необходимую информацию или успокоит пациента в нужный момент;
· сервис, который вычислит наиболее точную эпидемиологическую обстановку в радиусе 500 метров от человека.
Для реализации Web API был выбран стек разработки React, Redux, Typescript. Техническая часть была реализован на Python Flask. Классификация голосовых интентов реализована при помощи библиотеки глубокого обучения DeepPavlov. Для реализации функционала ответов на частые вопросы про COVID-19 был развернут AzureQnAMaker. При помощи TelegramBot реализован удобный сервис для мониторинга распространения пандемии.
В Агентстве инноваций Москвы сообщили, что в ближайшее время сервисы, разработанные в рамках трека «Мегаполис Москва», будут доработаны с партнерами треков и пропилотированы в их инфраструктуре.