Над чем сегодня работают молодые инженеры
Обзор изобретений финалистов международного конкурса Imagine Cup.
Материал подготовлен при поддержке Microsoft
Компания Microsoft собрала лучшие студенческие команды в Сиэтле на международный финал своего технологического конкурса Imagine Cup. Для участия каждый проект проходил отбор в региональных соревнованиях.
Команды приехали из 33 стран и представили 49 разработок. В этом году особое внимание было посвящено когнитивным функциям машин — зрению, слуху и вкусу.
Благодаря новым технологиям искусственный интеллект понимает, как выглядит дым, как кричат младенцы, какой ананас на вкус, и знает, как на всё это реагировать.
Работы участников можно условно разделить на семь сфер:
Многие разработанные командами сервисы не требуют дополнительного оборудования и встраиваются в телефон, а другие представляют собой недорогие и масштабируемые решения.
Призёры конкурса
На последнем этапе соревновались три команды. Судьи оценивали их выступления по четырём параметрам: задумка, новаторство, технологичность и осуществимость. Отличительная особенность всех трёх изобретений — сочетание когнитивной функции машины, самообучаемости и облачных вычислений.
Проект smartARM, Канада — первое место
Технологии: компьютерное зрение, облачная платформа Azure, машинное обучение.
Команда из Канады представила роботизированный протез руки со встроенной камерой. Когда перед ней что-то появляется, машина распознает этот предмет и вычисляет для него оптимальный захват.
Пальцы протеза приготовятся к обхвату, если камера распознает кофейную кружку. А если там связка ключей, то указательный палец станет «крючком» и подцепит кольцо, которым они скреплены.
Для того, чтобы рука активировалась только в подходящие моменты, на тело человека крепится дополнительный датчик. Протез начинает работать, когда сенсор фиксирует сокращение определённой мышцы.
Если машина не узнала предмет, она попробует составить его трёхмерную модель и вычислить оптимальный захват.
В механизированных протезах нет ничего нового, но этот вариант обладает низкой себестоимостью. «Умные» протезы стоят десятки тысяч долларов, а прогнозируемая стоимость smartARM составит $100. Прототип команда распечатала на 3D-принтере.
Точность распознавания и захвата предметов растёт с пополнением базы данных, которую формируют сами пользователи. Судьи поинтересовались, как это будет работать с плохим интернетом: рука подгрузит базу данных при первой возможности.
Сегодня есть тенденция поиска новых форматов взаимодействия протеза и человека. Идея этого проекта достаточно интересная, и её нужно проверить на практике. С точки зрения управления протезом, не думаю, что она заменит традиционное считывание мышечных сигналов, но может стать дополнением к нему.
Для команды основная работа только начинается — нужно довести образец до серии. Это кропотливая работа, включающая обучение специалистов, ознакомительные мероприятия для медицинских сотрудников и пользователей.
Сервис iCry2Talk, Греция — второе место
Технологии: компьютерный слух, облачная платформа Azure, машинное обучение.
Для грудного ребёнка плач — это возможность выразить свои потребности. Дети кричат, когда им одиноко, больно, хочется есть, и даже когда их нужно укачать перед сном. Родители не всегда способны определить причину.
Матерям нужно несколько месяцев, чтобы научиться понимать причину младенческого плача. Они могут пройти в стрессе как для самой матери, так и для ребёнка, на потребности которого неправильно реагируют. Мы решили собрать записанные крики двухсот детей и предложить машине найти в них закономерности.
Сервис греческой команды в режиме реального времени обрабатывает детский плач, чтобы понять, чем он вызван. Особое внимание разработчики уделили возможностям интеграции: приложение может работать, как Shazam на телефоне, а может быть встроено в «умную» колонку. Она включится, когда ребёнок заплачет и передаст родителю сообщение с причиной.
В основе iCry2Talk лежат четыре механизма:
- «Денойзинг» — сервис обратит внимание только на те звуковые частоты, которые соответствуют детскому плачу.
- Анализ плача — алгоритм определит его характеристики: продолжительность всхлипываний, тон, громкость.
- Сопоставление — в базе данных будут найдены похожие крики других детей.
- Динамическая оценка — сервис решит, подходит ли опыт других родителей, и предложит своё решение.
Идея сервиса также не нова, и у него есть конкуренты. На фотографии команда защищает главное отличие от них — высокую точность работы, растущую с пополнением базы данных:
Сервис Mediated Ear, Япония — третье место
Технологии: компьютерный слух, облачная платформа Azure, машинное обучение.
Шум в общественных местах мешает любой коммуникации: приходится повышать голос, прислушиваться к собеседнику. Для человека с нарушением слуха это может стать ещё большей преградой в общении.
Сервис от японской команды способен выделить определённые голоса из окружающего шума. Механика работы следующая: нужно установить сервис на смартфон и «сэмплировать» голоса родных и друзей. Другими словами, приложение запишет их голоса и запомнит их характерные особенности.
В разговоре с людьми, голоса которых есть в базе, достаточно вставить наушники и «прибавить» собеседникам громкость. Обработка одной секунды разговора происходит практически в реальном времени — задержка составляет 0,6 секунды.
Судьям конкурса удалось «ударить» по слабому месту сервиса — без продолжительного сэмпла, выделить голос будет невозможно.
Решения для понижения уровня постороннего шума нашли своё применение в устройствах для проведения конференций. К примеру, технология NoiseBlock от Polycom отсекает посторонние шумы по нехарактерным для голоса частотам и включает микрофон, когда распознаёт человеческую речь.
Mediated Ear работает наоборот и ищет частоты голоса. Здесь могут быть трудности, связанные с работой микрофона или плохой акустикой помещения.
Сэмплирование и машинное обучение — это интересные решения, которые лучше остальных справятся с необычной манерой речи. Но сервис может «запутаться» в похожих голосах близких родственников.
Coffee Break, команда из России
Технологии: колориметрический анализ, машинное обучение, компьютерное зрение, облачное хранение.
Россию в конкурсе представляла команда Coffee Break из МГУ. Участники придумали установку, которая определяет характеристики кофе без химического анализа. Для этого сквозь напиток пропускается пучок света и по его преломлению и отражению определяются свойства: кислотность, крепость, плотность. Химические сенсоры в модели тоже есть, по их показателям машина учится.
К международному финалу команда разработала конечный продукт — «умную» кружку. Внутри неё расположена «ванночка», в которой измеряются характеристики напитка. В Москве участники команды отметили, что их устройство работает не только с кофе, поэтому по приезду в Сиэтл купили пару бутылок вина.
Есть традиционный способ понять, какое вино на вкус: пригласить сомелье и дать ему попробовать. Идея проекта — определить вкус напитка без участия человека. Задача решена частично: мы научились измерять характеристики жидкостей и учим машину связывать их с субъективными человеческими ощущениями — сладость, оттенки вкуса и фруктов. С точки зрения бизнеса проект хорош тем, что нам под силу анализировать даже закрытые бутылки — определять контрафакт.
Для себя определили две причины, по которым не удалось занять призовое место: во-первых, многие проекты находятся на другом этапе жизненного пути, команды давно сформировались и успели сделать больше. Во-вторых, наш проект сильно выделялся на фоне остальных: он скорее «куражный» и не решает социальные проблемы, а судьям это важно.
Из других проектов понравился iCry2Talk, занявший второе место. У одного из участников нашей команды есть младшая сестра, и он на себе прочувствовал, насколько сложно понимать, чего хочет ребёнок.
Ещё запомнился проект, который помогает фермерам определить улей с заболевшими пчёлами. Камеры снимают, что происходит в ульях, а машина по поведению насекомых разбирается, здоровы ли они. На наш взгляд, этому проекту было под силу победить, но ему не хватило социальной составляющей, как и нашему.
В обоих этих проектах команды обращались к профессионалам: педиатрам и сиделкам, фермерам и биологам — исследовательская сторона работы вызывает уважение.
Ещё несколько конкурсных проектов
Сервис Pengram, США — победитель в номинации «смешанная реальность»
Идея пришла, когда родители в очередной раз позвонили спросить, как настроить роутер, а я опять не смог им помочь.
Сервис работает с очками виртуальной реальности, в них обзор дополняется голограммой реального человека. Это может быть инженер или эксперт, который наглядно покажет сложные вещи.
В очках можно проигрывать записанную голограмму, это поможет в обучении специалистов разных отраслей. Но основной упор студенты сделали на трансляцию голограммы в реальном времени, когда компетентный инженер дистанционно показывает, как чинить оборудование.
Сканер Pine, Малайзия
Малазийские студенты взялись измерять сладость ананасов. Такие приборы уже есть, но для их работы нужно вырезать кусочек фрукта и несколько минут анализировать его химический состав. Команда Pine это делает без нарушения целостности фрукта и гораздо быстрее.
Изобретение команды схоже с российской разработкой — свет проходит сквозь ананас, и по его спектральному отпечатку определяется концентрация сахара.
Приложение Eddie, Венгрия
Приложение от венгерских студентов — пример законченного продукта, оно уже доступно в App Store и Google Play. Разработчики обозначили проблему: все школьники умеют пользоваться смартфоном, но в учебных программах это никто не использует.
С помощью камеры телефона, можно распознать иллюстрацию в школьном учебнике, и на экране появится её трёхмерная модель. Это вовлекает младшеклассников в обучение, а взрослым ученикам помогает детальнее рассматривать сложные объекты. К примеру, строение органов, если речь идёт о студентах медицинских вузов.
Мнение эксперта Microsoft
Несколько лет назад проект, анализирующий эмоциональную окраску твитов, был одним из лучших в России из-за своей технической сложности. Сейчас же сделать подобное с помощью облачных когнитивных сервисов — это дело нескольких часов на хакатоне.
Мы наблюдаем стремительную демократизацию технологий, снижается порог входа для решения сложных задач. Это вовлекает в конкурс всё более молодых студентов. Успех сопутствует командам, которые объединяют междисциплинарные знания: предпринимательство, социологию, экономику и дизайн.
Один из главных трендов последнего времени — технология Intelligent Edge, когда обученная модель работает без подключения к интернету, и при этом точность страдает незначительно. Это значительно расширяет область применения конкурсных решений.
Приятно, когда студенты предлагают для социальной проблемы нетривиальное, безумное решение, которое не приходит в голову специалисту. Такое случается нечасто, но, тем не менее, это возможно, ведь студенты могут оказаться ближе к целевой аудитории.
«Мы искали компанию, которая действительно понимала бы, куда мы хотим двигаться, была готова инвестировать вместе с нами, рисковать вместе с нами, расти вместе с нами» — сказал старший директор по работе с клиентами технологической компании, которая является клиентом TP. В этом блоге рассказываем, как эта компания использовала речевую аналитику и и…
Ни для кого не секрет, что Telegram из мессенджера превратился в целую экосистему, где можно не только общаться, но и зарабатывать деньги. Однако, чем больше “бизнесменов” заходят в телеграм, тем больше мертвых каналов появляется. Потратить бюджет около миллиона рублей, а вместо окупаемости через 10 месяцев получить мертвый канал. Звучит как фиаско…
Тех, у кого рабочая виза или грин-карта.
Приветствуем всех! Сегодня мы хотим поделиться с вами информацией о нашем новом проекте – R Chat. В условиях, когда на рынке доминируют зарубежные мессенджеры, мы решили создать полноценный российский аналог, который будет соответствовать всем современным требованиям безопасности и функциональности.
Будет полезна тем, кто продвигается через контент и/или seo.