Разработали интерфейс ИИ-сервиса для рентгенологов: как это было

Расскажем, как сделать инклюзивный, в меру детализированный и удобный интерфейс ИИ-сервиса, от которого зависит жизнь людей. От кастдева до реальных тестов.

Приветствуем! Это — Третье мнение. Мы создаём ИИ-сервисы, которые помогают врачам и медсёстрам в диагностике заболеваний и уходе за пациентами.

Сейчас ИИ-системы поддержки принятия врачебных решений вызывают больше доверия: они хорошо анализируют медицинские изображения, находят патологии и помогают ставить диагнозы.

Татьяна Смелова
UX/UI-дизайнер

Но не все врачи готовы использовать такие сервисы, если ими неудобно пользоваться из-за неверной терминологии, переизбытка данных, непонятных обозначений и особенностей зрения. Поэтому мы решили создать интуитивно понятный и удобный интерфейс ИИ-сервиса лучевой диагностики.

Как врач работает с ИИ-сервисом

Всё начинается с пациента, который проходит исследование: рентген, маммографию или компьютерную томографию.

ИИ-система его обрабатывает: выделяет находки, описывает их и выдаёт предварительные результаты.

Врач самостоятельно изучает снимки, смотрит на протокол от ИИ и пишет заключение. ИИ помогает, когда специалист сомневается и хочет свериться со вторым мнением.

В чём сложности

Единых шаблонов для описания исследований — нет. А на практике врачи по-разному описывают и классифицируют отклонения.

Патологий и их признаков — много. Сейчас на КТ органов грудной клетки ИИ-сервис «Третье мнение» находит 9 признаков заболеваний, в будущем — их станет ещё больше. Для каждого нужно подобрать обозначения и при этом выдержать баланс, чтобы данные были читаемы для специалиста.

Так выглядит компьютерная томография органов грудной клетки

Проекций, срезов и снимков тоже много. Для маммографии, например, данные выводятся на 4 снимках в 2 проекциях:

Так выглядит маммографическое исследование

Здесь ИИ-сервис может обнаружить больше 10 признаков рака молочной железы, не считая другие заболевания. Поэтому нужно заранее продумать, как избежать перегруженности и наслоения данных в интерфейсе.

Главная задача — разработать интерфейс, который будет удобным для большинства врачей-рентгенологов.

Начинаем с UХ

Прежде чем взяться за дизайн, мы провели много консультаций, узнали у врачей принципы написания медицинских заключений, обсудили типичные и сложные случаи. Затем создали прототип визуализации и начали проводить UX-тестирования, наблюдая за взаимодействием специалистов с ИИ-сервисом и паттернами их поведения.

Во время тестов столкнулись с несколькими проблемами:

Какой объем информации отображать в визуализации?

В диагностике не всегда есть стандарты, как писать заключения, поэтому врачи используют разные подходы. Для примера возьмём КТ органов грудной клетки. Специалист может описать на исследовании:

  • каждый очаг по отдельности
  • только наименьшие и наибольшие очаги
  • группы очагов одного типа
  • только самые крупные очаги

Выделять сразу всё — плохая идея: изображение станет перегруженным. Мы искали баланс между полнотой информации и доступностью восприятия, чтобы сократить время на чтение исследования и убрать «визуальный шум».

Как решили задачу:

→ ИИ обводит все очаги на изображении, чтобы не было ощущения, что он их не нашел.

→ Вывели в легенду информацию о максимальном и минимальном очагах, пяти крупнейших и общем количестве очагов.

→ Добавили градацию цвета: большие очаги сделали яркими, чтобы обратить на них внимание, малые и средние — приглушенными, чтобы не перегружать изображение.

Как выглядит исследование после доработки интерфейса

Как подписывать патологии?

Если на одном исследовании было много отклонений, метки с их названиями накладывались друг на друга и создавали хаос.

Мы начали работать над иерархией и правилами, чтобы сохранить информативность даже в сложных случаях.

Здесь мнения врачей тоже разделились:

  • Для одних удобнее выносить метки за пределы исследования, как в атласе
  • Других это отвлекает — лучше обводить патологии и подписывать их в одном месте
  • Третьим комфортнее просто «подсветить» находку и самим её описать

Как решили задачу:

→ Оставили подписи патологий рядом с обводкой. Они выручают врачей с небольшим опытом и экономят время: не нужно искать текст глазами по всему интерфейсу.

→ Добавили иерархию. Обводим и подписываем только подозрительные находки, остальные — обводим, но не подписываем.

→ Подобрали размер шрифта. Подписи можно прочитать не вглядываясь, и они не заслоняют исследование.

Так мы сделали информацию читаемой и избежали перегруженности изображения.

Слева – до: подписываем и обводим все находки. Справа — после: обводим все находки, но подписываем только подозрительные.

Как тестировать визуализацию?

Сначала UX-тесты проходили на одном «показательном» исследовании, но это было неинформативно. Мы упустили, что патологий может быть в несколько раз больше.

Тогда стали тестировать визуализацию на исследованиях с разным количеством патологий и качеством изображения. Благодаря этому мы получили больше данных и сделали сервис удобнее и универсальнее ↓

Как теперь выглядят исследования с разным количеством патологий

Прорабатываем UI

В процессе UX-тестов обнаружили ещё одну проблему — цветопередача и цветоощущение.

Иногда в клиниках используют черно-белые мониторы, на которых цветные обозначения теряют смысл.

Слева визуализация на цветном мониторе, справа — на черно-белом

Мы подобрали более контрастные цвета и разработали систему, по которой патологии отличаются не только цветом, но и способом обводки.

Но сложности бывают не только с мониторами. Среди врачей-рентгенологов есть люди с дальтонизмом. Из-за искажённого восприятия цветов им может быть неудобно пользоваться ИИ-сервисом.

Для примера: как видит интерфейс человек с дейтераномалией (вид дальтонизма)

Мы подобрали палитру цветов, чтобы специалисты с особенностями зрения могли пользоваться продуктом наравне с другими.

Тестируем на практике

Первое время врачи смотрели прототипы в Figma, но оценить интерфейс и визуализации в программе, которая отличается от настоящей рабочей станции врача — сложно. Пользовательский опыт в смоделированной ситуации сильно отличается от реальной.

Например, маммографию обычно смотрят в 2 или 4 окнах, а в Figmа смотрели в одном.

Слева — прототип в Figma, справа — во вьюере на рабочей станции

Тогда мы стали проводить тесты в прямо во вьюере — программе для просмотра медицинских изображений. Дополнительно — ездили в больницы и наблюдали за работой специалистов. Поняли, что нужно увеличить размер шрифтов и элементов.

Текст стал читаемым даже при большом количестве открытых окон.

Результаты

По мнению врачей, интерфейсы ИИ-сервисов «Третье Мнение» — действительно удобные:

Это получилось благодаря постоянному кастдеву: сбору рекомендаций и реакций на обновления от медицинского сообщества, тестированию гипотез и ориентации на врачебный опыт.

Самое важное — не останавливаться на первой версии. Поэтому мы регулярно собираем фидбек от специалистов, проводим юзабилити-тестирования и улучшаем визуализацию. Так разрабатываются качественные сервисы от врачей для врачей.

Посмотреть, как работает интерфейс вживую, можно по ссылке. Больше об ИИ для медицины рассказываем в телеграм-канале ↓

0
52 комментария
Написать комментарий...
G N

Кстати, наши любимые врачи цветоаномалы в старых версиях визуализации просто не видели бирюзовый цвет и говорили, что ИИ-сервис ничего не выделяет. Поменяли цветовую гамму... и вуа-ля, все прекрасно работает!

Ответить
Развернуть ветку
Инна Глаголева

А какая еще цветоаномалия распространена среди рентгенологов?

Ответить
Развернуть ветку
2 комментария
Александра Камнева

Классная аналогия с третьем мнением в нейминге, огонь 🔥

Ответить
Развернуть ветку
Елизавета Зверева

Жиза, мне тоже зашло!

Ответить
Развернуть ветку
Эльза

Отдельный респект за адаптацию для врачей с особенностями цветовосприятия)

Ответить
Развернуть ветку
Третье Мнение
Автор

Благодарим! Стараемся сделать сервис инклюзивным)

Ответить
Развернуть ветку
2 комментария
Anastasiya Isakova

Приятно, что в нашей стране есть компании, которые создают такие классные современные разработки!!!

Ответить
Развернуть ветку
Сергей Тихонов

Хорошая доработка. Действительно облегчит врачам работу в диагностике заболеваний и уходе за пациентами. Вообще сейчас наверное уже всё с искусственным интеллектом. Но это хорошо.

Ответить
Развернуть ветку
Третье Мнение
Автор

Нам это приятно и важно слышать, спасибо ❤️

Ответить
Развернуть ветку
Елизавета Зверева

Честно говоря, за 2 года на площадке впервые увидела кейс для какой-то медицинской штуки, неожиданно

Ответить
Развернуть ветку
Alexey

Отличная статья! Нравится, что не поленились доехать посмотреть как оно все работает "в поле", а не засплитили 4 фрейма с заскейленными макетами для прототипов.

Ответить
Развернуть ветку
Татьяна Смелова

Спасибо, полевые исследования, действительно, дают много важной информации, которую сложно/невозможно получить в смоделированных ситуациях

Ответить
Развернуть ветку
Егор Тишков

А вот таким сервисам можно доверять в постановке диагноза? Просто, например, обычные нейросети часто выдают плохие результаты в текстах или картинках, как будто их ещё очень долго нужно учить

Ответить
Развернуть ветку
Илья Осипов

Так их тестируют врачи и у каждого сервиса как у мед. изделия есть тех. оценка (процент обработанных) и клин. оценка (процент заключений, которые совпали с мнениями врачей). У многих 90+% совпадение.

Тут можно покликать и посмотреть графики, внизу:
https://mosmed.ai/ai/

Ответить
Развернуть ветку
Третье Мнение
Автор

Наши сервисы не ставят диагнозы, а помогают врачам-рентгенологам в описании исследований. А точность работы наших сервисов открыто показа на сайте Эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения в системе здравоохранения города Москвы

Ответить
Развернуть ветку
Инна Глаголева

Впервые узнала что есть дейтераномалия)

Ответить
Развернуть ветку
Самойлов Миша

я тоже

Ответить
Развернуть ветку
MI

Смотрю на этот текст и понимаю, как редактор, насколько тяжело сложные термины интегрировать в текст для такой площадки. Круто!

Ответить
Развернуть ветку
Эдуард Самойлов

Очень крутая разработка, надеюсь, что врачи реально возьмут в обиход

Ответить
Развернуть ветку
Artem Filippov

А как вы переносите из фигмы во вьюер исследования? фигма вообще может работать с мед программами или как это происходит?

Ответить
Развернуть ветку
Третье Мнение
Автор

Мы перевели изображение из фигмы в формат DICOM, благодаря этому его можно открыть в медицинском просмотровщике

Ответить
Развернуть ветку
Артур Маслов

а разве такая опция не вшита по умолчанию в МРТ аппараты? насколько я знаю там есть подсветка зон, отличающихся от референсов

Ответить
Развернуть ветку
Третье Мнение
Автор

Действительно существуют CAD системы, которые основаны не на ИИ-технологиях и «вшиты» в рабочие станции врачей. Это дорогой и сложный софт, функционал которого хоть иногда и пересекается с возможностями ИИ, но покрывает далеко не все, что может показывать искусственный интеллект.

Ответить
Развернуть ветку
Alexandr Gromov

Крутая статья!
Не возникает ли проблем с объемом файлов, создаваемых при такой визуализации?
Оригинальные изображения в grayscale, а визулаизация в rgb

Ответить
Развернуть ветку
Третье Мнение
Автор

Нет, не возникает. На один «пиксель» в оригинальном изображении выделяется 16 бит, а в визуализации всего 8 бит. Ещё используется сжатие визуализации без потери визуального контекста.

Если говорить про промышленное применение, то на стороне заказчика есть возможность удалять из базы (PACS) всю визуализацию по истечению какого-то срока, например, один месяц.

Ответить
Развернуть ветку
Анастасия

До чего техника дошла

Ответить
Развернуть ветку
Лев Николаев

Я честно даже не задумывался, что у врачей с дальтонизмом различным действтительно могут вызывать проблемы рентген... А тут ещё и ии вкрутили для быстрой и удобной аналитики... ИИ интегрируют уже везде, и везде оно развивается и работает... Скоро так будем и больницы для ИИ строить, чтобы и их самих люди чинили "лечили"...

Ответить
Развернуть ветку
Матин

Вашем здоровье мне нравлос

Ответить
Развернуть ветку
Stepan Fedulin

Супер, Круто, и так особо не лечат - теперь дохнуть будем глобально, врачам в ИИ косынку внедрить надо чтобы заключения комфортнее писали)))) Пора запасаться справочником фельдшера)

Ответить
Развернуть ветку
Третье Мнение
Автор

ИИ не ставит диагнозы и не заменяет врача. Он помогает сделать исследование информативнее: обводит находки и подписывает их. Но врач обязательно перепроверяет работу ИИ и самостоятельно ставит диагнозы.

Кроме того, все ИИ-сервисы для здравоохранения проходят многочисленные тесты и получают регистрационное удостоверение.

Ответить
Развернуть ветку
2 комментария
Михаил Фомичев

Чем был обоснован выбор цвета для выделения зон поражения? Не создается ощущения что актуальный формат будет бросаться в глаза при частом просмотре и анализе изображений

Ответить
Развернуть ветку
Татьяна Смелова

Были выбраны цвета, которые не сливаются с изображением (разными оттенками серого), хорошо просматриваются на черно-белых мониторах и поддаются восприятию людей с особенностями зрения

Ответить
Развернуть ветку

Комментарий удален автором поста

Развернуть ветку
Владлена Миронова

А какие каналы вы используете, чтобы продавать такой сложный продукт? Тоже работаю с b2b и b2g и оооочень узкой аудиторией

Ответить
Развернуть ветку
Третье Мнение
Автор

Например, мы участвуем в научных конференциях. Но вообще зависит от того, какой у вас продукт и где обитает ваша целевая аудитория. Всё индивидуально

Ответить
Развернуть ветку
Диана Королева

статья прикольная, но не хватило каких-то картинок кроме снимков всяких

Ответить
Развернуть ветку
Третье Мнение
Автор

Учтём!)

Ответить
Развернуть ветку
Самойлов Миша

я не знал, что ИИ уже и в медицину пришёл

Ответить
Развернуть ветку
Илья Ключин

сэйм шит бро

Ответить
Развернуть ветку
Третье Мнение
Автор

Да, последние несколько лет ИИ активно внедряется в здравоохранение!

Ответить
Развернуть ветку
Невероятный Блондин

Мой вердикт: в целом годится.
Кроме попытки эмулировать дейтераномалию ))))

Ответить
Развернуть ветку
Татьяна Смелова

Мы использовали симулятор дальтонизма, который помогает понять, как видят мир люди с особенностями цветовосприятия
https://pilestone.com/pages/color-blindness-simulator-1

Ответить
Развернуть ветку
1 комментарий
Саша N

о а можно свое мрт загрузить? есть сайт мож какой то

Ответить
Развернуть ветку
Alexandre Prokoudine

Для просмотра файлов DICOM есть примерно миллион приложений :)

Ответить
Развернуть ветку
Герман

это все конечно здорово и то ,что он находит признаки и то что обводит очаги,но пациенту лучше заранее вот такие результаты не видеть

Ответить
Развернуть ветку
Татьяна Смелова

Сервис предназначен для врачей

Ответить
Развернуть ветку
49 комментариев
Раскрывать всегда