GPT-4V в погоне за мультимодальностью

Случилось вот что: вышел большой отчёт про возможности GPT-4V. Внезапно оказалось, что LLM могут обращаться с картинками так же, как с текстовыми промптами, и никакой особой разницы нет. Что та фигня, что эта фигня, главное — научиться распознавать, дальше те же логические связки. Это давно ожидалось, потому что люди в основном смотрят, и большая часть информации приходит через глаза. Но мало кто ждал, что это так круто получится вот уже сейчас и с LLM.

Отчёт вот. Теперь давайте смотреть, а не читать.

Хорошие мультимодальные способности, чётко считывает указатели, хорошее общее понимание ситуации
Хорошие мультимодальные способности, чётко считывает указатели, хорошее общее понимание ситуации

Если вы пьяны, он пересчитает пиво и сверит с чеком:

GPT-4V в погоне за мультимодальностью

Собственно, важное:

  • Хорошо понимает что за сцена изображена и какие взаимосвязи между объектами на ней.
  • Читает текст, ориентируется на местности, опознаёт конкретных людей
  • Умеет в абстракции и обратно
  • Отлично ищет то, чего не должно быть (отклонения от базовой идеи) — дефекты на деталях, дефекты в людях (в особенности на рентгене) и так далее.
  • Плохо считает.

Можно парсить текст с фото:

GPT-4V в погоне за мультимодальностью

Это традиционный навык, но здесь он очень впечатляет. Капче, кажется, хана:

GPT-4V в погоне за мультимодальностью

Правда, не всё потеряно для капчи, с математикой, как обычно, не очень:

GPT-4V в погоне за мультимодальностью

Таблицы:

GPT-4V в погоне за мультимодальностью

Перевод и общее понимание:

GPT-4V в погоне за мультимодальностью

Очень, очень хорошая работа с указателями. Можно обводить, показывать корявыми стрелочками, делать системные рамочки, всё очень хорошо фокусирует внимание. Можно хоть делить счёт по фотографии стола:

GPT-4V в погоне за мультимодальностью

Хорошо строит взаимосвязи по кадрам, мини-обучение внутри промпта отлично работает (как и на текстовой версии). Здесь пока много ошибок по отчёту, но это одна из самых многообещающих способностей:

GPT-4V в погоне за мультимодальностью

Распознаёт людей:

GPT-4V в погоне за мультимодальностью

И даже абстракции:

GPT-4V в погоне за мультимодальностью

Точно так же он отлично определяет достопримечательности по фото и еду:

GPT-4V в погоне за мультимодальностью

Уверенно читает КТ:

Но жертвы будут:
Но жертвы будут:
GPT-4V в погоне за мультимодальностью

С лёгкими, кстати, традиционно справляется хорошо.

Показывает общее понимание ситуации.

Это, пожалуй, одна из самых удивительных вещей, потому что на этом свойстве строится много других сложных навыков. Слишком рано, слишком рано это появилось в нашем мире!

GPT-4V в погоне за мультимодальностью

Вот комплексная задача: пересчитать людей и подписать каждого:

GPT-4V в погоне за мультимодальностью

Хорошее мультимодальное понимание ситуации:

GPT-4V в погоне за мультимодальностью

Но тут надо сказать, что вполне возможно, что по известной картинке он просто знает текстовое описание мема и толкует его.

Аналогичная ситуация, где можно решить и без картинки:

GPT-4V в погоне за мультимодальностью

А вот это уже куда интереснее. Здесь нужно просто сделать выводы о том, что в сцене. Похоже, сначала ввод преобразуется в векторную модель (подробное описание в виде вектора, аналог огромного текстового описания от судмедэксперта), а потом по вектору уже применяются логические операции:

GPT-4V в погоне за мультимодальностью

И вот:

GPT-4V в погоне за мультимодальностью

Прогноз действий в видео(!):

GPT-4V в погоне за мультимодальностью

Если вы думаете, что это всё, то нет. Смотрите:

GPT-4V в погоне за мультимодальностью

Сочетание с указателями:

GPT-4V в погоне за мультимодальностью

Пересказать видео? Не вопрос:

GPT-4V в погоне за мультимодальностью

Этой фигнёй вы его не обманите:

GPT-4V в погоне за мультимодальностью

Да и вообще не обманите, как он научится воспринимать видео в контексте допроса:

GPT-4V в погоне за мультимодальностью

Манипулировать тоже уже умеет:

GPT-4V в погоне за мультимодальностью

Невинная игра «найди 5 различий» превращается в поиск дефектов между идеальной векторной моделью объекта и образцом:

GPT-4V в погоне за мультимодальностью

Но жертвы будут:

GPT-4V в погоне за мультимодальностью

Определение корзины пока страдает без узкой базы того, что есть в магазине (рядом есть примеры с сужением базы, они точнее):

GPT-4V в погоне за мультимодальностью

А вот это уже интересно:

GPT-4V в погоне за мультимодальностью

Организационный порядок:

GPT-4V в погоне за мультимодальностью

И попугай за рулём:

GPT-4V в погоне за мультимодальностью

Фильтры, то есть смешение образца с идеей:

GPT-4V в погоне за мультимодальностью

Очень, очень хорошие возможности для различной роботизации.

Вот для RPA:

GPT-4V в погоне за мультимодальностью
GPT-4V в погоне за мультимодальностью

А вот, например, гипотезы поиска холодильника:

GPT-4V в погоне за мультимодальностью
Он и вас найдёт, дайте только ему одежду и мотоцикл.
Он и вас найдёт, дайте только ему одежду и мотоцикл.

Он и вас найдёт, дайте только ему одежду и мотоцикл.

Ещё раз, отчёт вот. Уже видно, кого и сколько можно будет уволить из-за 4V. Это вам не ChatGPT, для работы с которым нужно сильно много думать и формулировать задачу. Этому можно просто показать, и он разберётся.

Ещё раз главное:

  • Можно дать на вход текст и картинку (или несколько картинок), это очень гибкое сочетание.
  • На выходе тоже можно получить текст и картинку (но генерация пока хуже распознавания).
  • Он преобразовывает ввод всё в то же векторное поле, которым пользуется в LLM, то есть, по большому счёту, наследует все способности GPT4, но очень расширяет возможности ввода.
  • Хорошо учится по образцам прямо внутри промпта.
  • Хорошо распознаёт объекты и их взаимосвязи, предсказывает следующее событие в сцене.
  • Уверенно распознаёт медицинские ситуации по изображениям.
  • Хороший поиск дефектов.
  • Умеет считать объекты, но не хочет. В медленном режиме пошагового счёта считает лучше.
  • Умеет обводить объекты и давать их координаты.
  • Подписывает части изображения.
  • Хорошо объясняет по картинкам, инструкции очень крутые.
  • Отлично анализирует сцену в реверсе («представь, что ты детектив, что можешь сказать?»)
  • Распознаёт текст и формулы, таблицы, переводит (20 языков), понимает структуру документов.
  • Отлично понимает указатели и всё, на что вы тыкаете тем или иным образом.
  • Понимает последовательности событий, разбирает видео, умеет строить временные связи между картинками и прогнозы.
  • Собирает всякие головоломки типа танграмов и решает задачи на последовательности фигур.
  • Определяет эмоции (что пугает в сочетании с анализом видео).
  • Предсказывает, как картинка повлияет на аудиторию (самая объективно опасная способность).
  • Находит различия, дефекты, оценивает повреждения
  • Умеет делать разные задачи в реальной среде: догадываться, что за кнопки и для чего на разных машинах дома, сопоставлять инструкции из базы и станки, ориентироваться без полных данных.
  • Хорошо браузит по неполным данным, может купить вам клавиатуру или заказать еду по запросу, причём сам разберётся, где и как это сделать.

Про математику надо пояснить отдельно. Кажется, это общий недостаток всех LLM, потому что они учатся по примерам с решениями и пытаются уловить какие-то ускользающие от нас закономерности, но не сами принципы арифметических операций. И даже если учить модели на детализированных сетах с арифметикой и пошаговым разбором примеров, получится не очень. Вот тут у нас чуть больше деталей про этот китайский опыт. Если что, мы с Milfgard собираем в том числе новости про LLM в этом канале. Называется «Ряды Фурье». Всегда хотел это сказать, вступайте в ряды Фурье!

А что касается тендеций LLM, кажется, нам всем хана.

11
Начать дискуссию