Робохроники ИИ: нейросеть оживляет фото, китайцы сделали свою робособаку, а систему OpenAI бессовестно обманывают

Ежемесячно команда RDL by red_mad_robot рассказывает про новости, кейсы и подходы в ИИ, которые можно переложить на нашу действительность и реально использовать. Главное за март уже тут.

Как заставить нейросеть подумать, что яблоко — это пицца

Исследователи OpenAI обнаружили, что их систему CLIP можно обмануть. Для того чтобы заставить её неправильно идентифицировать объект, достаточно, например, прикрепить к нему бумажку с названием другого предмета.

Робохроники ИИ: нейросеть оживляет фото, китайцы сделали свою робособаку, а систему OpenAI бессовестно обманывают

Или добавить несколько символов:

Робохроники ИИ: нейросеть оживляет фото, китайцы сделали свою робособаку, а систему OpenAI бессовестно обманывают

Подобные обманные картинки называют состязательными изображениями. В них целенаправленно изменяют некоторые пиксели, чтобы ввести алгоритмы в заблуждение. Этот процесс называется «типографской атакой». В реальности он может угрожать многим приложениям, использующим технологии ИИ.

Но пока можно не сильно волноваться: CLIP — экспериментальная модель. И служит для того чтобы изучать, как ИИ-системы классифицируют объекты.

Робохроники ИИ: нейросеть оживляет фото, китайцы сделали свою робособаку, а систему OpenAI бессовестно обманывают

В CLIP есть «мультимодальные нейроны», которые срабатывают не только на изображения предметов, но и на текст. Например, в системе есть так называемый «финансовый нейрон», который реагирует на изображения копилок и отвечает на строку «$$$». Если поставить такой знак на фото собаки, то и её он начнет распознавать как копилку.

Робохроники ИИ: нейросеть оживляет фото, китайцы сделали свою робособаку, а систему OpenAI бессовестно обманывают

Подобные эксперименты приведут к возникновению более сложных мультимодальных систем. Однако сейчас эти технологии находятся на начальном этапе развития.

Нейросеть научилась собирать композицию

Исследователи из Массачусетского технологического института (МТИ) разработали нейронную сеть, которая может собрать реалистичную композицию из частей нескольких изображений.

Робохроники ИИ: нейросеть оживляет фото, китайцы сделали свою робособаку, а систему OpenAI бессовестно обманывают

С помощью сети регрессоров и предварительно обученной GAN нейросеть оптимизирует части изображений, а затем пытается додумать недостающие данные, смотря на общую картинку. Потом она редактирует результат и, обучившись, завершает коллаж.

С практической точки зрения, это может пригодиться для создания эскизов и изображений в ограниченные сроки.

Facebook создал собственного «пророка»

Facebook представил модель компьютерного зрения SEER (с английского «пророк»).

К предвидению она никакого отношения не имеет. SEER — аббревиатура, получившаяся из слова SElf-supERvised («под самостоятельным наблюдением»). Система сама обучается распознавать объекты на фотографиях из интернета, а не на тщательно подобранных датасетах.

При прохождении теста ImageNet, с помощью которого проверяется, насколько точно алгоритмы определяют то, что изображено на фото, SEER получил оценку в 84,2%.

Тестирование подобной модели позволит её последователям стать более гибкими, точными и адаптируемыми в будущем. Facebook также открывает исходный код библиотеки VISSL, которую использовали для обучения SEER.

Заходит Tencent и Boston Dynamics в бар...

Китайская компания Tencent выпустила самостоятельно разработанного мультимодального четвероногого робота с программным и аппаратным обеспечением.

Робособака «Макс» — вторая модель компании. Первая версия — Jamoca — была представлена в ноябре 2020-го. Она стоила примерно в пять раз дешевле своего конкурента — робота Spot от Boston Dynamics.

Главное отличие «Макса» от предыдущей модели — приводные колеса в «коленях». С их помощью робот может передвигаться со скоростью до 25 км/ч. Энергии в этом случае тратится на 50% меньше.

А ещё «Макс» может стоять и перемещаться на задних «лапах».

Робоcобака обладает развитой «нервной системой», которая обеспечивает управление со скоростью менее миллисекунды и значительно сокращает задержку программных и аппаратных систем.

У робота развитый «мозжечок», из-за чего он прекрасно держит равновесие и может высоко прыгать.

Компания надеется найти ему практическое применение в ближайшем будущем.

«Яндекс» и 10 миллионов километров по снегу

Этой зимой беспилотные автомобили «Яндекса» преодолели свои первые 10 миллионов километров. Большая часть этого расстояния была пройдена в Москве, «в одном из самых сложных городов мира со сложными погодными условиями», — утверждает команда Yandex Self-Driving Group.

Сложные погодные условия — серьёзное препятствие для беспилотных автомобилей. Во-первых, снег и плохая видимость — некоторые из лазерных лучей лидаров отражаются от снега, поэтому они не достигают необходимой цели.

Но беспилотники генерируют более миллиона лучей в секунду и это гарантирует, что значительное их количество всё-таки достигает намеченных объектов. Даже если некоторые лучи отражаются.

Во-вторых, конденсация выхлопных газов. Зимой сильная конденсация выглядит как твердые препятствия в облаке точек лидара. С этим снова справляются нейросети, которые распознают выхлопные газы автомобилей и игнорируют их.

В-третьих, планирование движения. Зимой на дорогах лежит снег, который может быть свежим и рыхлым или твёрдым и плотным. Он может казаться безобидным, но скрывать под собой лёд. Эта проблема решается за счёт коэффициента трения между дорогой и шинами. Он автоматически определяется системой автономного вождения и влияет на все решения, принимаемые автомобилем.

Ну и в-четвертых, это изменения в дорожной ситуации в режиме реального времени. Автоматизированная система самообновляющихся карт позволяет беспилотникам адаптироваться к изменениям в городе. До обновления карт автомобили продолжают плавно перемещаться по улицам.

Благодаря способности технологии объединять данные с лидаров, инерциальных измерительных устройств и одометрии беспилотники компании могут локализовать себя даже в ситуациях, когда автомобиль скользит.

Команда Yandex Self-Driving Group заявляет, что, тестируя свою систему в столице, даёт ей инструменты для работы по всему миру.

ИИ придумывает антибиотики

Компания IBM разработала алгоритм на основе глубоких генеративных моделей и моделирования молекулярной динамики, который способен создавать новые антимикробные препараты.

Разработка новых антибиотиков — затратный и трудоемкий процесс. Более 10 лет и около $2–3 миллиардов требуется на то, чтобы изобретенное лекарство вышло на рынок. При этом вероятность успеха может составлять меньше 1%.

С каждым годом появляется всё больше пациентов с заболеваниями, устойчивыми к известным видам антибиотиков. Поэтому эффективные вычислительные стратегии для создания препаратов с необходимым терапевтическим эффектом нужны как можно скорее.

Таким решением и стал алгоритм IBM. Он создает короткие пептиды в виде минимальной физической модели, которая отражает высокую селективность природных АМП (антимикробных пептидов). Алгоритм максимизирует антимикробную активность, минимизируя токсичность для хозяина.

Расскажу в метафоре картинок.

В реальной задаче по синтезированию лекарств нужно сочетать сразу несколько противоречивых требований.

1) Вещество должно убивать бактерии, то есть быть ядовитым, и одновременно, по возможности, не наносить вреда клеткам пациента.

2) Быть простым и дешевым в изготовлении и хранении.

Представьте, что нам надо нарисовать картину, на которой изображено страшное лицо. Но при этом оно должно быть веселым или довольным. Звучит сюрреалистично, но это очень похоже на задачу с лекарством.

Как можно решить такую задачу?

Можно посадить художника, который давно рисует разные странные заказы, и он из удобных паттернов что-то придумает. Нос такой, глаза улыбаются, но есть оскал и рога. А можно посадить 1000 человек, которые будут оценивать реальные лица с точки зрения «страшно», «весело» и «довольно».

На этом датасете научить нейросеть вычислять эти характеристику у любой картинки, которая подается на вход. Это будет оценивающая сеть, так называемый дискриминатор.

На втором шаге создаем пару нейросетей — сжиматель и генератор, которые тренируются одновременно. Сжиматель по фотографии создает короткий набор чисел, характеризующий именно эту фотографию, так называемый вектор внутреннего представления. Генератор восстанавливает по вектору исходную картину.

В случае с молекулами всё так же, только на вход не пиксели-картинки, а последовательности аминокислот в пептиде. И внутреннее представление, которое получилось из пары сжиматель-генератор.

Точно так же, как среди множества всех картинок лица составляют умопомрачительно малую долю, а среди них страшные и веселые одновременно — ещё большая редкость, так и среди всех возможных пептидов ядовитые для бактерий и безвредные для нас составляют мизерную долю из всех возможных молекул.

Здесь все части трудные. Надо и придумать топологию генератора, дискриминатора и сжимателя, и собрать достаточный датасет данных для их тренировки.

На третьем шаге фокус-покус.

Берем наш генератор, поставляем в него разные исходные вектора внутреннего представления. Генератор создает новые, никогда ранее не существовавшие картинки или, в нашем случае, молекулы. Ну, не сами молекулы, а их модели в виде последовательности компонентов в пептиде.

Подставляем миллионы кандидатов в наш дискриминатор, он выдает уровень своей уверенности в том, что картинка, пардон, молекула, будет соответствовать нашим целям.

Оставляем среди них только лучших кандидатов, скажем, сотню из миллиарда сгенерированных. И проверяем их на практике. В случае с лекарствами — реально синтезируем и проверяем на клеточных культурах ядовитость для бактерий и безвредность для клеток пациента.


Юрий Чайников, руководитель RDL by red_mad_robot

NVIDIA исследует ДНК

Компания Nvidia и исследователи из Гарварда представили набор ИИ-инструментов для исследований клеток ДНК.

Продукт AtacWorks может всего за полчаса проанализировать геном полностью. А вот для того чтобы повторить этот процесс с помощью традиционного метода, потребуется несколько часов. В некоторых случаях он и вовсе бесполезен, например, при экспериментах с очень редкими типами клеток.

AtacWorks позволит ученым проводить исследования с меньшим количеством клеток, снижая стоимость сбора образцов и секвенирования. А анализ результатов станет быстрее и дешевле. Система также поможет создавать и диагностировать новые лекарства.

Зловредные дипфейки снова в деле

ФБР предупредило, что в течение ближайших 12-18 месяцев вырастет количество мошеннических дипфейк-видео. По словам представителей бюро, подобные случаи появились еще в конце 2019-го, и их число пока только увеличивается.

За примером далеко ходить не нужно — в начале марта американка сгенерировала дипфейковые видео и фото с пьющими, курящими и обнаженными подругами своей дочери из группы поддержки. И разослала их девушкам, их родителям и владельцам спортивного зала, чтобы соперниц выгнали из команды. Женщину арестовали и предъявили обвинение в кибердомогательстве к детям.

Ученые, конечно же, пытаются найти способы, с помощью которых можно отличить дипфейк-изображение от реального. И иногда преуспевают в этом: исследователи из Университета штата Нью-Йорк в Буффало придумали метод обнаружения дипфейков, который основан на сравнении отражения в глазах человека. На реальных фото они идентичны, на фейках — очень разнятся.

Слева — реальные фото, справа — сгенерированные
Слева — реальные фото, справа — сгенерированные

Недостаток этого метода (простите за каламбур) бросается в глаза: несоответствия на изображении решаются ручной обработкой. А если человек не смотрит в камеру, или один глаз не виден на снимке, то подход не сработает.

«Умные» устройства на дорогах (внезапно — это не беспилотники)

Исследователи из Университета Джорджии разработали рюкзак с искусственным интеллектом. «Умное» устройство помогает слабовидящим и предупреждает о препятствиях или дорожных знаках.

Для этого система использует пространственную 4K-камеру, технологию Intel для обработки изображений, небольшое GPS-устройство для определения координат и bluetooth-наушник для управления.

Робохроники ИИ: нейросеть оживляет фото, китайцы сделали свою робособаку, а систему OpenAI бессовестно обманывают

А вот «Ростелеком» запустил в Туле ИИ-комплекс для мониторинга дорожной инфраструктуры. Программно-аппаратный комплекс (ПАК), который устанавливается на автомобиль, состоит из камер видеонаблюдения и модуля нейронной сети. Он фиксирует неисправности на дорогах, загрязнения на дорожных знаках, светофорах и опорах освещения.

Данные о состоянии дорожной инфраструктуры записываются в ПАК и в режиме реального времени передаются в облако «Ростелекома» (затем данные попадают в управление области, цель — сделать инфраструктуру лучше).

И вновь технологии ИИ помогают нам с примеркой

Разработчик из Гонконгского университета создал нейросеть, которая помогает виртуально примерить одежду. Она принимает изображение человека и изображение предмета одежды, а на выходе отдает картинку, на которой на человека надет этот предмет одежды.

Робохроники ИИ: нейросеть оживляет фото, китайцы сделали свою робособаку, а систему OpenAI бессовестно обманывают

Разработчик заявляет, что его система обходит своих соперников в реалистичности изображений.

Алгоритмы предскажут сбои в сделках

Банк Нью-Йорка Меллон вместе с Google разработали ИИ, который прогнозирует сбои в казначейских операциях.

Существует ряд причин, по которым казначейские сделки в США могут быть сорваны. Например, если у одной из сторон не хватает ценных бумаг, необходимых для завершения операции, или же компьютерная система вышла из строя. Невыполнение условий сделки может нанести как ущерб репутации, так и привести к штрафным санкциям.

Для предотвращения подобных случаев модель машинного обучения, разработанная Google, анализирует прошлые торговые модели. ИИ учитывает спрос и предложение казначейства, скорость торговли и расчётов, а также историю торговых и расчетных операций вовлеченных сторон.

По словам банка, сделки, которые происходят во время интенсивной торговли, когда ценные бумаги не всегда доступны для завершения транзакции, а прошлые расчеты фирмы не выполняются, считаются заведомо неудачными.

Команда финансовых услуг Google Cloud привнесла в проект свою облачную платформу и опыт работы с данными, а Банк Меллон предоставил свои знания рынка. Но система работает на компьютерах центра обработки данных банка, и данные клиентов не передаются в Google. Руководство банка заявило, что не планирует запускать эту модель в производство на облачной платформе Google.

Одной строкой

  • В России начинается тестирование беспилотников без присутствия инженера-испытателя в салоне;
  • Минцифры планирует открыть доступ к обезличенным медицинским данным граждан компаниям, занимающимся разработкой ИИ-решений в сфере здравоохранения;
  • Кабмин планирует регулировать телемедицину и ИИ в медицине;
  • Красота в глазах смотрящего: финские ученые научили нейросеть создавать изображения лиц, чья привлекательность определяется по активности мозга смотрящего. Точность результатов выше 86%;
  • GPT-3 способна генерировать 4,5 миллиарда слов в день;
  • Ericsson тестирует ИИ для создания системы прогнозирования и планирования потребностей больницы;
  • С 2018 года «Яндекс» продал 1,3 миллиона умных колонок с голосовым помощником «Алиса»;
  • НФЛ использует ИИ, чтобы по видео анализировать игру футболистов;
  • Waymo доказал, что их беспилотники могут предотвращать смерть пассажира в случае ДТП. Для этого были созданы 100 виртуальных симуляций — в 82% случаях избежать аварии удалось;
  • UPS рассказал, как избежать ошибок при внедрении ИИ;
  • Опрос KPMG: большинство респондентов назвали пандемию фактором, способствовавшим более широкому внедрению искусственного интеллекта в прошлом году:
Робохроники ИИ: нейросеть оживляет фото, китайцы сделали свою робособаку, а систему OpenAI бессовестно обманывают
  • Правительство Китая представило пятилетний план развития передовых технологий: в него вошло увеличение объема инвестиций в технологические проекты, запуск кластеров и поддержка стартапов.

Чтиво выходного дня

Как глубокое обучение может пригодиться в бизнесе? Ловите 7 полезных примеров.

Fun AI

Нейросеть Deep Nostalgia умеет оживлять фото. Получаются «живые» картинки, будто сошедшие со страниц газеты «Ежедневный пророк» из «Гарри Поттера».

Но пользователи, конечно же, идут оживлять мемы:

На этом все! До встречи в конце апреля.

Если понравилось или не понравилось, пишите в комментариях. Ведь без обратной связи робота не переобучить. Самые свежие новости про ИИ и не только в нашем Telegram-канале. Всем ИИ!

2626
3 комментария

Гарольд очаровашка.

Однако, когда уже научат ИИ правильно предсказывать погоду? 

2
Ответить

Вообще есть такие проекты. Но, конечно, надо понимать, что всё-таки ИИ не магия какая, и там вероятностный характер прогноза будет. Надо порыться в Хрониках, кажется, мы писали даже писали про такое 🤔

2
Ответить

Вот свежий материал про то, как ИИ улучшает предсказание (думаю, что будет в Робохрониках за апрель уже) погоды: https://www.wsj.com/articles/how-ai-can-make-weather-forecasting-less-cloudy-11617566400

Ответить