Над чем сегодня работают молодые инженеры

Обзор изобретений финалистов международного конкурса Imagine Cup.

Материал подготовлен при поддержке Microsoft

Над чем сегодня работают молодые инженеры

Компания Microsoft собрала лучшие студенческие команды в Сиэтле на международный финал своего технологического конкурса Imagine Cup. Для участия каждый проект проходил отбор в региональных соревнованиях.

Команды приехали из 33 стран и представили 49 разработок. В этом году особое внимание было посвящено когнитивным функциям машин — зрению, слуху и вкусу.

Благодаря новым технологиям искусственный интеллект понимает, как выглядит дым, как кричат младенцы, какой ананас на вкус, и знает, как на всё это реагировать.

Работы участников можно условно разделить на семь сфер:

Многие разработанные командами сервисы не требуют дополнительного оборудования и встраиваются в телефон, а другие представляют собой недорогие и масштабируемые решения.

На последнем этапе соревновались три команды. Судьи оценивали их выступления по четырём параметрам: задумка, новаторство, технологичность и осуществимость. Отличительная особенность всех трёх изобретений — сочетание когнитивной функции машины, самообучаемости и облачных вычислений.

Технологии: компьютерное зрение, облачная платформа Azure, машинное обучение.

Команда из Канады представила роботизированный протез руки со встроенной камерой. Когда перед ней что-то появляется, машина распознает этот предмет и вычисляет для него оптимальный захват.

Пальцы протеза приготовятся к обхвату, если камера распознает кофейную кружку. А если там связка ключей, то указательный палец станет «крючком» и подцепит кольцо, которым они скреплены.

Для того, чтобы рука активировалась только в подходящие моменты, на тело человека крепится дополнительный датчик. Протез начинает работать, когда сенсор фиксирует сокращение определённой мышцы.

Если машина не узнала предмет, она попробует составить его трёхмерную модель и вычислить оптимальный захват.

В механизированных протезах нет ничего нового, но этот вариант обладает низкой себестоимостью. «Умные» протезы стоят десятки тысяч долларов, а прогнозируемая стоимость smartARM составит $100. Прототип команда распечатала на 3D-принтере.

smartARM в действии

Точность распознавания и захвата предметов растёт с пополнением базы данных, которую формируют сами пользователи. Судьи поинтересовались, как это будет работать с плохим интернетом: рука подгрузит базу данных при первой возможности.

Сегодня есть тенденция поиска новых форматов взаимодействия протеза и человека. Идея этого проекта достаточно интересная, и её нужно проверить на практике. С точки зрения управления протезом, не думаю, что она заменит традиционное считывание мышечных сигналов, но может стать дополнением к нему.
Для команды основная работа только начинается — нужно довести образец до серии. Это кропотливая работа, включающая обучение специалистов, ознакомительные мероприятия для медицинских сотрудников и пользователей.
Тимур Бергалиев,
генеральный директор BiTronics Lab

Технологии: компьютерный слух, облачная платформа Azure, машинное обучение.

Для грудного ребёнка плач — это возможность выразить свои потребности. Дети кричат, когда им одиноко, больно, хочется есть, и даже когда их нужно укачать перед сном. Родители не всегда способны определить причину.

Матерям нужно несколько месяцев, чтобы научиться понимать причину младенческого плача. Они могут пройти в стрессе как для самой матери, так и для ребёнка, на потребности которого неправильно реагируют. Мы решили собрать записанные крики двухсот детей и предложить машине найти в них закономерности.
Анастасия Нтраха, команда iCry2Talk

Сервис греческой команды в режиме реального времени обрабатывает детский плач, чтобы понять, чем он вызван. Особое внимание разработчики уделили возможностям интеграции: приложение может работать, как Shazam на телефоне, а может быть встроено в «умную» колонку. Она включится, когда ребёнок заплачет и передаст родителю сообщение с причиной.

В основе iCry2Talk лежат четыре механизма:

«Денойзинг» — сервис обратит внимание только на те звуковые частоты, которые соответствуют детскому плачу.
Анализ плача — алгоритм определит его характеристики: продолжительность всхлипываний, тон, громкость.
Сопоставление — в базе данных будут найдены похожие крики других детей.
Динамическая оценка — сервис решит, подходит ли опыт других родителей, и предложит своё решение.

Идея сервиса также не нова, и у него есть конкуренты. На фотографии команда защищает главное отличие от них — высокую точность работы, растущую с пополнением базы данных:

Сервис выбирает из пяти причин плача, и делает это верно в 89% ситуаций

Технологии: компьютерный слух, облачная платформа Azure, машинное обучение.

Шум в общественных местах мешает любой коммуникации: приходится повышать голос, прислушиваться к собеседнику. Для человека с нарушением слуха это может стать ещё большей преградой в общении.

Сервис от японской команды способен выделить определённые голоса из окружающего шума. Механика работы следующая: нужно установить сервис на смартфон и «сэмплировать» голоса родных и друзей. Другими словами, приложение запишет их голоса и запомнит их характерные особенности.

В разговоре с людьми, голоса которых есть в базе, достаточно вставить наушники и «прибавить» собеседникам громкость. Обработка одной секунды разговора происходит практически в реальном времени — задержка составляет 0,6 секунды.

Mediated Ear в действии

Судьям конкурса удалось «ударить» по слабому месту сервиса — без продолжительного сэмпла, выделить голос будет невозможно.

Решения для понижения уровня постороннего шума нашли своё применение в устройствах для проведения конференций. К примеру, технология NoiseBlock от Polycom отсекает посторонние шумы по нехарактерным для голоса частотам и включает микрофон, когда распознаёт человеческую речь.
Mediated Ear работает наоборот и ищет частоты голоса. Здесь могут быть трудности, связанные с работой микрофона или плохой акустикой помещения.
Сэмплирование и машинное обучение — это интересные решения, которые лучше остальных справятся с необычной манерой речи. Но сервис может «запутаться» в похожих голосах близких родственников.
Сергей Хомяков, вице-президент Polycom в России:

Технологии: колориметрический анализ, машинное обучение, компьютерное зрение, облачное хранение.

Россию в конкурсе представляла команда Coffee Break из МГУ. Участники придумали установку, которая определяет характеристики кофе без химического анализа. Для этого сквозь напиток пропускается пучок света и по его преломлению и отражению определяются свойства: кислотность, крепость, плотность. Химические сенсоры в модели тоже есть, по их показателям машина учится.

К международному финалу команда разработала конечный продукт — «умную» кружку. Внутри неё расположена «ванночка», в которой измеряются характеристики напитка. В Москве участники команды отметили, что их устройство работает не только с кофе, поэтому по приезду в Сиэтл купили пару бутылок вина.

Есть традиционный способ понять, какое вино на вкус: пригласить сомелье и дать ему попробовать. Идея проекта — определить вкус напитка без участия человека. Задача решена частично: мы научились измерять характеристики жидкостей и учим машину связывать их с субъективными человеческими ощущениями — сладость, оттенки вкуса и фруктов. С точки зрения бизнеса проект хорош тем, что нам под силу анализировать даже закрытые бутылки — определять контрафакт.
Для себя определили две причины, по которым не удалось занять призовое место: во-первых, многие проекты находятся на другом этапе жизненного пути, команды давно сформировались и успели сделать больше. Во-вторых, наш проект сильно выделялся на фоне остальных: он скорее «куражный» и не решает социальные проблемы, а судьям это важно.
Из других проектов понравился iCry2Talk, занявший второе место. У одного из участников нашей команды есть младшая сестра, и он на себе прочувствовал, насколько сложно понимать, чего хочет ребёнок.
Ещё запомнился проект, который помогает фермерам определить улей с заболевшими пчёлами. Камеры снимают, что происходит в ульях, а машина по поведению насекомых разбирается, здоровы ли они. На наш взгляд, этому проекту было под силу победить, но ему не хватило социальной составляющей, как и нашему.
В обоих этих проектах команды обращались к профессионалам: педиатрам и сиделкам, фермерам и биологам — исследовательская сторона работы вызывает уважение.
Команда Coffee Break
,
Игорь Балашов, Евгений Бобров и Руслан Габдуллин

Идея пришла, когда родители в очередной раз позвонили спросить, как настроить роутер, а я опять не смог им помочь.
Уилл Хуан,
команда Pengram

Сервис работает с очками виртуальной реальности, в них обзор дополняется голограммой реального человека. Это может быть инженер или эксперт, который наглядно покажет сложные вещи.

Участники команды демонстрировали работу на примере починки квадрокоптера

В очках можно проигрывать записанную голограмму, это поможет в обучении специалистов разных отраслей. Но основной упор студенты сделали на трансляцию голограммы в реальном времени, когда компетентный инженер дистанционно показывает, как чинить оборудование.

Коробочка перед монитором и есть само устройство

Малазийские студенты взялись измерять сладость ананасов. Такие приборы уже есть, но для их работы нужно вырезать кусочек фрукта и несколько минут анализировать его химический состав. Команда Pine это делает без нарушения целостности фрукта и гораздо быстрее.

Изобретение команды схоже с российской разработкой — свет проходит сквозь ананас, и по его спектральному отпечатку определяется концентрация сахара.

Приложение от венгерских студентов — пример законченного продукта, оно уже доступно в App Store и Google Play. Разработчики обозначили проблему: все школьники умеют пользоваться смартфоном, но в учебных программах это никто не использует.

С помощью камеры телефона, можно распознать иллюстрацию в школьном учебнике, и на экране появится её трёхмерная модель. Это вовлекает младшеклассников в обучение, а взрослым ученикам помогает детальнее рассматривать сложные объекты. К примеру, строение органов, если речь идёт о студентах медицинских вузов.

Дополненная реальность для школьных учебников

Несколько лет назад проект, анализирующий эмоциональную окраску твитов, был одним из лучших в России из-за своей технической сложности. Сейчас же сделать подобное с помощью облачных когнитивных сервисов — это дело нескольких часов на хакатоне.
Мы наблюдаем стремительную демократизацию технологий, снижается порог входа для решения сложных задач. Это вовлекает в конкурс всё более молодых студентов. Успех сопутствует командам, которые объединяют междисциплинарные знания: предпринимательство, социологию, экономику и дизайн.
Один из главных трендов последнего времени — технология Intelligent Edge, когда обученная модель работает без подключения к интернету, и при этом точность страдает незначительно. Это значительно расширяет область применения конкурсных решений.
Приятно, когда студенты предлагают для социальной проблемы нетривиальное, безумное решение, которое не приходит в голову специалисту. Такое случается нечасто, но, тем не менее, это возможно, ведь студенты могут оказаться ближе к целевой аудитории.
Дмитрий Сошников,
технологический евангелист Microsoft

О конкурсе

#партнерский