От мысли к тексту: ИИ преобразует немую речь в письменные слова

Новая система искусственного интеллекта, семантический декодер, может преобразовывать мозговую активность в непрерывный текст. Система может произвести революцию в общении для людей, которые не могут говорить из-за таких состояний, как инсульт.

От мысли к тексту: ИИ преобразует немую речь в письменные слова

Этот неинвазивный подход использует данные сканера фМРТ, превращая мысли в текст, не требуя хирургических имплантатов. Хотя эта система искусственного интеллекта не идеальна, она успешно улавливает суть мыслей человека в половине случаев.

Ключевые факты:

  • Семантический декодер AI был разработан исследователями из Техасского университета в Остине.
  • Он работает на основе модели преобразователя, аналогичной той, что используется в ChatGPT Open AI и Bard Google.
  • У системы есть потенциал для использования с более портативными системами визуализации мозга, такими как функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS).

Новая система искусственного интеллекта, называемая семантическим декодером, может преобразовывать мозговую активность человека — во время прослушивания истории или воображения истории — в непрерывный поток текста.

Система, может помочь людям, которые находятся в сознании, но не могут говорить физически, например, ослабленным после инсульта.

От мысли к тексту: ИИ преобразует немую речь в письменные слова

Активность мозга измеряется с помощью сканера фМРТ после обширной тренировки декодера, при которой человек часами слушает подкасты в сканере.

Позже, при условии, что участник готов к расшифровке своих мыслей, его прослушивание новой истории или воображение, рассказывающее историю, позволяет машине генерировать соответствующий текст только на основе мозговой активности.

«Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, когда обычно использовались отдельные слова или короткие предложения», — сказал Хут. «Мы получаем модель для декодирования непрерывного языка в течение длительных периодов времени, со сложными идеями».

Результат не является дословной расшифровкой. Вместо этого исследователи разработали его, чтобы уловить суть того, что говорится или о чем думают, хотя и несовершенно. Примерно в половине случаев, когда декодер обучен отслеживать активность мозга участника, машина выдает текст, который близко (а иногда и точно) соответствует предполагаемому значению исходных слов.

От мысли к тексту: ИИ преобразует немую речь в письменные слова

Например, в экспериментах участник, слушавший говорящего: «У меня еще нет водительских прав», переводил свои мысли как «Она еще даже не начала учиться водить». Слушая слова: «Я не знала, кричать ли мне, плакать или убегать. Вместо этого я сказал: «Оставь меня в покое!», что было расшифровано как «Начала кричать и плакать, а потом она просто сказала: «Я сказала тебе оставить меня в покое».

В дополнение к тому, что участники слушали или думали над историями, исследователи попросили испытуемых посмотреть четыре коротких видео без звука, находясь в сканере. Семантический декодер смог использовать их мозговую деятельность, чтобы точно описать определенные события из видео.

В настоящее время система нецелесообразна для использования за пределами лаборатории из-за того, что она зависит от времени, необходимого для фМРТ-аппарата. Но исследователи считают, что эта работа может быть перенесена на другие, более портативные системы визуализации мозга, такие как функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS).

А если вам еще больше интересна тема ИИ, вы хотите знать больше и не пропускать новинки и обзоры, подпишитесь на канал в тг, мне будет приятно -

1010
4 комментария

Язык жестов на грани исчезновения

Ответить

Это же здорово, немые смогут спокойно общаться со всеми людьми

1
Ответить

Я просто в шоке, до чего доходят технологии. Это так странно, что есть искусственный интеллект, который способен хотя бы отчасти преобразовывать мысли в текст.

Ответить

трудно поверить,что ведутся такие разработки и что вообще такое возможно ,насколько же это круто и невероятно

Ответить