Как искусственный интеллект придумал новую часть тела
И это не сразу заметили. Мы уже видим практические примеры внедрения ИИ в медицину. Это и новые лекарства и вакцины, и постановка диагнозов, которые пропустили врачи, и разработка персонализированного лечения. Но могут быть и негативные последствия, о которых предупреждали специалисты и которые уже почти случились. Расскажу, что произошло, и в чем может заключаться серьёзная проблема современных медицинских ИИ систем.
🔥 Еще больше интересного в моем канале Продуктовые штучки
Что произошло?
В 2024 году Google выпустил исследовательскую статью и блог-пост о своём медицинском ИИ Med-Gemini, способном анализировать медицинские изображения и генерировать заключения.
В текстах этих публикаций встретился термин «basilar ganglia» — несуществующая анатомическая структура.
В реальности существуют два разных термина: basal ganglia (базальные ганглии — группы ядер в головном мозге, отвечающие за моторику и обучение) и basilar artery (базилярная артерия — крупный сосуд мозга). Смешав эти понятия, ИИ буквально «придумал» новую часть тела.
Ошибка могла бы иметь серьёзные последствия, ведь инсульт в зоне базальной артерии и базальных ганглиев требуют принципиально разного лечения.
Медицинское сообщество обратило внимание на ошибку; Google потихоньку исправила блог-пост, но оригинал научной статьи остался без изменений, а компания назвала это «опечаткой» или «частой ошибкой расшифровки» — хотя эксперты считают такое «галлюцинацией» ИИ, представляющей значительный риск для пациентов.
Почему врачи и исследователи не заметили ошибку в статье сразу?
Это произошло по нескольким причинам.
Из-за высокой рабочей нагрузки, автоматизации и доверия к авторитету крупных компаний или современных ИИ публикации проходят без глубокого анализа каждого термина.
Многие научные статьи рецензируются неспециалистами по конкретной теме или используются автоматизированные инструменты проверки, что повышает вероятность пропуска необычных терминов. Кроме того, сгенерированный ИИ текст выглядит убедительно, что снижает бдительность даже у опытных читателей, особенно если похожие термины действительно существуют в медицине.
Наконец, давление быстро публиковать новые исследования и достижения ИИ тоже часто приводит к нестрогой научной проверке.
В чем проблема?
Проблема заключается не только в этой одной ошибке.
При дальнейшем тестировании Med-Gemini и его улучшенной версии MedGemma выяснилось, что на схожие запросы ИИ иногда выдаёт абсолютно разные и противоречивые диагнозы, причём не всегда обнаруживает явные патологии на снимках.
Такие «галлюцинации» могут просачиваться в медицинскую документацию, где человек из-за высокой рабочей нагрузки, автоматизации или просто доверия к авторитетному ИИ не всегда сможет заметить ошибку.
Эксперты предупреждают: медицинский ИИ часто генерирует убедительные, но ложные ответы, и это системный дефект всех современных больших языковых моделей.
Опасность тем выше, чем выше степень автоматизации и меньше времени у врача на проверку рекомендаций ИИ.
Необходима максимальная прозрачность, дополнительные проверки, вплоть до внедрения отдельного ИИ — аудитора, оценивающего выводы медИИ. Автоматизация не должна подменять человеческую экспертизу, а лишь усиливать её.
ИИ должен допускаться к практике только после крайне тщательных и независимых испытаний, и в клиниках — под неподдельным человеческим контролем.
Этот инцидент наглядно показывает, как быстрое внедрение ИИ в медицину без адекватных резервных механизмов и контроля может привести к неочевидным и потенциально опасным последствиям.
Какие меры предпринимает Google по предотвращению подобных ошибок?
Внедрение новых метрик и бенчмарков
В 2024 году Google представила FACTS Grounding — специальный тестовый набор и открытый лидерборд для оценки того, насколько хорошо ИИ обосновывает свои ответы на основе предоставленных источников и избегает галлюцинаций. Gemini 2.0 Flash Experimental и другие новые модели Google занимают там лидирующие позиции по фактической достоверности.
Изменение подхода к разработке
Компания внедрила AI Responsibility Lifecycle — набор практик по контролю этапов жизненного цикла разработки ИИ, включая обязательные проверки, тестирование с привлечением внешних экспертов и независимые риск-оценки.
Технологии прозрачности ИИ контента
Система SynthID автоматически встраивает водяные знаки в сгенерированный ИИ контент
Использование продвинутых методов обучения
В новых версиях Gemini применяют углублённое обучение («Deep Learning») и интеграцию поиска в интернете, что позволяет дополнительно сверять ответы с реальными источниками перед выдачей результата пользователю.
Партнёрство и открытый диалог
Google активно сотрудничает с международными организациями и экспертами по вопросам этики, безопасности и прозрачности ИИ, участвует в глобальных инициативах по ответственности и безопасности искусственного интеллекта.
Совершенствование UX и интерактивность
Google разрабатывает интерфейсы, которые упрощают пользователям проверку источников, на которых основан ответ ИИ, получение второго мнения или повторной проверки от других моделей.
Пожалуйста, поддержите меня, поставьте лайк! 🙏
ChatGPT Agent — это новый инструмент от OpenAI, который появился буквально несколько дней назад. И вдруг сразу такая новость! Расскажу, о чем речь и стоит ли переживать.