AI телемедицина уже здесь

Гугл всерьез взялась за AI в медицине. Они превратили свой медицинский AI AMIE из текстового "врача в чате" в систему, способную проводить полноценную видеоконсультацию в реальном времени — разговаривать с пациентом, видеть его через камеру, просить выполнить элементы физикального осмотра и параллельно формировать диагноз.

Как это работает

В основу легли Gemini и Project Astra — проект Гугла, где они по сути строят настоящий Jarvis AI. По ссылке ролик, там весьма впечатляющее видение того, как он должен работать. Только, к сожалению, похоже они застряли на этапе прототипа. Тем интереснее посмотреть на новую AMIE — очень похожую систему, просто ограниченную конкретно медицинской областью.

Это не один большой агент, а асинхронная система из трёх агентов, работающих параллельно:

• Говорилка — непосредственно разговаривает с пациентом и отвечает с минимальной задержкой.

• Планировщик — в фоне «думает»: обновляет диагноз пациента, ищет пробелы в анамнезе и планирует следующие вопросы/действия.

• Видеорегистратор — непрерывно анализирует видео и аудио: внешний вид, признаки дискомфорта, дыхание, результаты визуальных тестов и т. п. Эта информация поступает в планировщика.

Например, AMIE может попросить пациента показать движения сустава, выполнить неврологический тест или показать что-то в камеру, а затем использовать увиденное при постановке диагноза. Именно такой интерактивный физикальный осмотр текстовые медицинские модели делать практически не способны.

Особенно интересно, как вложились в тестирование 📝

Обычно ограничиваются какими-то сгенеренными бенчмарками, а тут все серьезно. Наняли 15 актеров, сыгравших пациентов —> придумали 100 клинических сценариев —> провели 300 "консультаций".

Сравнивали три режима:

Врачи и AMIE сталкивались со сценариями по пяти группам: кардио/пульмонология, абдоминальные заболевания, ЛОР/глаза, неврология/психиатрия и опорно-двигательные проблемы. Результаты затем независимо оценивали 20 опытных врачей первичного звена.

И вот что получилось

По оценке врачей-экспертов, AMIE Video была примерно на уровне человеческих врачей по: диагностической точности, полноте сбора анамнеза, адекватности лечения/ведения пациента и качеству коммуникации.

А по некоторым вещам AI оказался лучше врачей. Особенно — в использовании видео: AMIE чаще выявляла физические признаки и чаще сама предлагала пациенту выполнить необходимые элементы удалённого осмотра.

"Пациенты" тоже остались довольны. Актёры оценивали AMIE Video очень высоко по эмпатии, раппорту и уверенности в полученной помощи, а видеорежим в целом предпочитали текстовому чату.

Единственное, что пока не позволяет сказать, что это победа — все пациенты актеры. И Гугл теперь аккуратно планирует тестить это в реальной клинической практике.

Это можно сделать достаточно безопасно, встроив AMIE в формате скрытого ассистента в телемед консультации с реальными врачами. Так система будет налету подсказывать врачу диагнозы, доп вопросы и на что обратить внимание в невербальных сигналах от пациента.

Что ж, я бы точно предпочел, чтобы на консультации с врачом за мной следила вторая пара "глаз" и "ушей". Особенно, когда на смену приходит новое поколение врачей, выросших в мире СДВГ и тиктоков 😈

#ИИстатья

Заместители