Компании построили хранилища, которые удовлетворяют этим требованиям. А потом, прикрутив несложную пользовательскую аналитику, обнаружили, что в этих данных можно находить поведенческие паттерны и, например, рекомендовать людям покупки, которые им потенциально интересны. Это помогло получать дополнительную прибыль и окупать затраты на внедрение систем хранения и обработки данных.

Рассмотрим пример обработки больших разнородных данных в экономике. Стандартным инструментом предсказания финансовых показателей, таких как волатильность доходности активов и уровень цен на углеводороды, является технический анализ на основе статистических моделей и различных макроэкономических данных. Дополнительными источниками информации могут служить публикации в новостных ресурсах, социальных сетях и медиа, аналитические отчеты — потоки разнородных текстовых данных.

Действительно, на локальные колебания финансовых показателей влияют различные события: политические решения, забастовки рабочих, теракты. Когда о подобных новостях узнают трейдеры, на бирже начинаются значительные колебания цен. Автоматизированное определение тематики, оценка тональности и достоверности этих текстовых данных, а также извлечение из них именованных сущностей, фактов и событий помогает обогатить дополнительными факторами предсказательные модели и существенно улучшить оценку рисков тех или иных финансовых решений.

Аналогичная потребность — обработка потока разнородных данных — возникает и в технических приложениях, связанных с интернетом вещей. Например, на крупных автомагистралях работают погодные станции, которые собирают данные о скорости и направлении ветра, давлении, температуре воздуха и влажности.

В этих данных, во-первых, можно обнаруживать аномалии, которые означают, что какие-то датчики вышли из строя. Во-вторых, на основе собранной информации можно строить алгоритмы прогноза температуры поверхности дорожного полотна. Они позволяют прогнозировать обледенение в зимнее время и сейчас активно используются компанией «Минимакс»: научная группа Сколтеха ADASE (Advanced Data Analytics in Science and Engineering) работает с компанией над соответствующим проектом.

Для решения подобных задач мы активно используем современные подходы к глубинному обучению. Благодаря универсальности нейросетевых архитектур, нам удается строить алгоритмы, которые могут эффективно обрабатывать данные разного вида – графы, временные ряды, сигналы с лидаров.

В лаборатории мы разрабатываем новые методы машинного обучения для предсказательной аналитики и обнаружения аномалий, методов глубинного обучения для анализа 3D/4D данных, в том числе и медицинских (МРТ и фМРТ). Ещё мы сотрудничаем с рядом компаний, таких как Bosch, Huawei, «Газпромнефть НТЦ» и «Сбербанк». Спрос на приложения и наши разработки очень большой.

В 2009 году Иван Оселедец вместе с коллегами предложил метод упрощения многомерных массивов до матриц. Решение этой математической задачи на практике позволило улучшить рекомендательные сервисы — теперь алгоритмы стали не только предлагать похожие фильмы, но и учитывать негативный опыт: если пользователю не понравился «Крестный отец» — пускай посмотрит «Историю игрушек».

Рекомендательные алгоритмы Сколтех улучшает совместно с немецкой PrudSys, предлагающей решения для e-commerce и ритейла. В России Сколтех сотрудничает с «Яндексом», который использует их как в «Яндекс.Музыке», так и в «Яндекс.Маркете», и «Сбербанком».

Новый метод разложения больших массивов можно использовать для решения разных задач в вычислительной химии, металлургии, авиамоделировании. По сути — везде, где результат определяется с помощью трёх и более параметров. Один из проектов Сколтеха, к примеру, посвящен повышению плодородия почв.

Это мобильная лаборатория: с её помощью можно отбирать и выполнять анализы на свежих образцах прямо в поле. Кроме того, это инструмент сбора больших данных — мобильная лаборатория позволяет быстро получить цифровую модель поля для анализа. Полученные данные можно использовать, например, для перепроектирования агротехнологий.

Эта сфера оказалась настолько востребованной, что выпускники программы сейчас запускают два стартапа: TensorFields для аудита агротехнологий на основе моделирования и машинного обучения, и второй, посвященный мониторингу, оптимизации и автоматизации в тепличных хозяйствах. Среди других возможных применений многомерных вычислений — оптимизация обслуживания пользователей в телекоммуникациях, а также ускорение моделей расчета нефтяных месторождений. У лаборатории есть совместные проекты с LG, Huawei и «Газпром нефтью».

В Сколтехе занимаются разработкой и совершенствованием алгоритмов глубинного и машинного обучения, нейронными сетями. Нейронные сети сейчас используются в основном для распознавания изображений, текста и аудио. Постепенно этим алгоритмам дадут решать более ответственные задачи: например, распознавать медицинские изображения, ставить диагнозы, оценивать кредитоспособность заемщиков и давать решение о выдачи кредита. Один из стартапов лаборатории уже предлагает диагностику стоматологических заболеваний по рентгеновским снимкам.

Интернет вещей позволяет собирать данные с объекта в режиме реального времени. Информацию о местоположении уже сейчас используют для улучшения логистики. Например, «Газпром нефть», с которой сотрудничает Сколтех, в феврале 2018 года завершила пилотный проект по отслеживанию с помощью GPS-меток поставок арматуры для платформы Приразломная в Печорском море.

Но логистикой интернет вещей не ограничивается. Результаты измерений с различных датчиков в реальном времени можно отправлять в качестве входных данных на виртуальную модель объекта и получить «цифровой двойник»: компьютерное представление физической системы, которое позволяет отслеживать его состояние.

Мониторинг условий эксплуатации изделия помогает предсказывать, когда нужен ремонт — например, ветрогенератору. Замена лопасти стоит очень дорого, но по показаниям датчиков на ветряке видно, какой нагрузке он подвергается. Если эту нагрузку приложить к виртуальной модели — «цифровому двойнику» ветрогенератора, — то можно спрогнозировать, когда именно понадобится профилактическое обслуживание и минимизировать потери, связанные с внеочередным ремонтом.

Наблюдение за несколькими тысячами однотипных объектов — к примеру, авиационными двигателями, — позволит находить и устранять уязвимости в конструкции. То, что теперь состояние изделия можно отслеживать во время его работы, уже изменило подход к проектированию. Современные PLM-системы позволяют сократить время разработки и избежать грубых ошибок проектирования: на численной модели сразу видны просчеты еще до натурных испытаний.

В Сколтехе студенты используют современное ПО для самых разных задач. Один из проектов — стратосферный беспилотник на солнечных батареях для раздачи интернета и дистанционного зондирования Земли. Другая разработка — дизайн-проект ионного двигателя для глубоких космических миссий. Третий — установка для десублимации углекислого газа на угольной электростанции, которая позволит охлаждать углекислый газ до состояния сухого льда и собирать его. Это разработка позволит серьезно сократить выбросы парникового газа.

В Сколтехе создают и развивают технологии для автономных многофункциональных роботов: техническое зрение, манипуляторы, интерфейсы для коллаборативных роботов и «очувствление роботов», искуственный интеллект. Например, в роботах команды reSet (трижды чемпион России в Eurobot) используются лидары и датчики приближения. Такой робот может точно позиционироваться на местности, избегать столкновения с препятствиями и манипулировать объектами в автономном режиме. Ожидается, что в будущем строительные роботы смогут ускорить и удешевить строительство домов при сохранении высокого качества.

Роботы уже умеют работать в закрытых помещениях — например, осуществляют перемещение товара на складах. В распределительных центрах Amazon работают примерно сто тысяч роботов: это позволило повысить эффективность логистических операций на 20% и ускорить обработку заказов. В Сколтехе автоматизацией складов занимаются два стартапа: PickToGo, которые создают робота, способного распознавать коробки с товаром, собирать новую паллету и передвигать её в место погрузки; и WareVision, которые разрабатывают автономных дронов, считывающих штрих-коды и RFID-метки для инвентаризации склада.

Еще одно направление, которое развивают в Сколтехе, — это хаптика (haptics). Его суть — в передаче кинестетической информации: создание правдоподобных симуляций, когда объект виртуальной реальности можно не только увидеть, но и почувствовать. Эта технология наиболее перспективна для медицины — хирурги смогут обучаться, отрабатывая навыки не на живых пациентах, а виртуально.

Хаптика позволяет создавать интуитивно более понятные интерфейсы для управления роботами. Уже сейчас в лаборатории можно «почувствовать» рой дронов и управлять им более эффективно. Самих роботов тоже «очувствляют» — разрабатывают перчатку для «очувствлённого» управления роем дронов. Оператор может ощущать расстояние между роем и препятствием, а также динамическое состояние роя — расширение и сжатие.

Это нужно для того, чтобы создать роботов, способных работать вместе с человеком и быть безопасными для него. На международной конференции IEEE ICRA 2018 будет представлена посадочная платформа DroneGear. Она позволяет мультикоптеру садиться на неровную, наклонную или подвижную поверхность. Роботизированные ноги адаптируются к любой форме поверхности и обеспечивают летательному аппарату (БПЛА) безопасную посадку.

Кристаллограф Артем Оганов разработал метод для предсказания структуры вещества при определенных условиях (давлении и температуре) — в случае, если заранее известно, из каких элементов вещество состоит. Это алгоритм USPEX, который используется в дизайне материалов.

Лаборатория Оганова в Сколтехе совершенствует алгоритмы с помощью методов машинного обучения и предсказывает новые материалы с требуемыми свойствами: например, термоэлектрические, магнитные и сверхтвердые материалы. Алгоритмы позволяют также найти лучшее сочетание сразу нескольких свойств материала — допустим, твердость и трещиностойкость. Для «Газпром нефти» лаборатория Оганова в Сколтехе создает сверхтвердые материалы для резцов бурового долота. По оценкам «Газпром нефти», новый материал мог бы снизить себестоимость бурения на 10-30%.

USPEX может использоваться для поиска новых модификаций лекарственных препаратов. Также для медицинской 3D-печати нужны биосовместимые материалы — уже проводятся эксперименты по печати костей и вживлению их пациентам. За этим последуют зубы, мягкие ткани и органы. Предсказать биосовместимость на компьютере сегодня невозможно — но всё может быстро измениться.