От мысли к тексту: ИИ преобразует немую речь в письменные слова
Новая система искусственного интеллекта, семантический декодер, может преобразовывать мозговую активность в непрерывный текст. Система может произвести революцию в общении для людей, которые не могут говорить из-за таких состояний, как инсульт.
Этот неинвазивный подход использует данные сканера фМРТ, превращая мысли в текст, не требуя хирургических имплантатов. Хотя эта система искусственного интеллекта не идеальна, она успешно улавливает суть мыслей человека в половине случаев.
Ключевые факты:
- Семантический декодер AI был разработан исследователями из Техасского университета в Остине.
- Он работает на основе модели преобразователя, аналогичной той, что используется в ChatGPT Open AI и Bard Google.
- У системы есть потенциал для использования с более портативными системами визуализации мозга, такими как функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS).
Новая система искусственного интеллекта, называемая семантическим декодером, может преобразовывать мозговую активность человека — во время прослушивания истории или воображения истории — в непрерывный поток текста.
Система, может помочь людям, которые находятся в сознании, но не могут говорить физически, например, ослабленным после инсульта.
Активность мозга измеряется с помощью сканера фМРТ после обширной тренировки декодера, при которой человек часами слушает подкасты в сканере.
Позже, при условии, что участник готов к расшифровке своих мыслей, его прослушивание новой истории или воображение, рассказывающее историю, позволяет машине генерировать соответствующий текст только на основе мозговой активности.
«Для неинвазивного метода это настоящий скачок вперед по сравнению с тем, что делалось раньше, когда обычно использовались отдельные слова или короткие предложения», — сказал Хут. «Мы получаем модель для декодирования непрерывного языка в течение длительных периодов времени, со сложными идеями».
Результат не является дословной расшифровкой. Вместо этого исследователи разработали его, чтобы уловить суть того, что говорится или о чем думают, хотя и несовершенно. Примерно в половине случаев, когда декодер обучен отслеживать активность мозга участника, машина выдает текст, который близко (а иногда и точно) соответствует предполагаемому значению исходных слов.
Например, в экспериментах участник, слушавший говорящего: «У меня еще нет водительских прав», переводил свои мысли как «Она еще даже не начала учиться водить». Слушая слова: «Я не знала, кричать ли мне, плакать или убегать. Вместо этого я сказал: «Оставь меня в покое!», что было расшифровано как «Начала кричать и плакать, а потом она просто сказала: «Я сказала тебе оставить меня в покое».
В дополнение к тому, что участники слушали или думали над историями, исследователи попросили испытуемых посмотреть четыре коротких видео без звука, находясь в сканере. Семантический декодер смог использовать их мозговую деятельность, чтобы точно описать определенные события из видео.
В настоящее время система нецелесообразна для использования за пределами лаборатории из-за того, что она зависит от времени, необходимого для фМРТ-аппарата. Но исследователи считают, что эта работа может быть перенесена на другие, более портативные системы визуализации мозга, такие как функциональная спектроскопия ближнего инфракрасного диапазона (fNIRS).
А если вам еще больше интересна тема ИИ, вы хотите знать больше и не пропускать новинки и обзоры, подпишитесь на канал в тг, мне будет приятно -
Язык жестов на грани исчезновения
Это же здорово, немые смогут спокойно общаться со всеми людьми
Я просто в шоке, до чего доходят технологии. Это так странно, что есть искусственный интеллект, который способен хотя бы отчасти преобразовывать мысли в текст.
трудно поверить,что ведутся такие разработки и что вообще такое возможно ,насколько же это круто и невероятно