Внедрили инструменты AI, научились сегментировать сосуды и выявлять окклюзии сосудов головного мозга

Привет! На связи студия R77 – интегратор AI в корпорации. Рассказываем, как с помощью инструментов AI выявить окклюзии сосудов головного мозга, сэкономить драгоценное время и выявить симптомы инсульта.

Когда пациент приходит к врачу с подозрением на инсульт, врач назначает специальное КТ, а потом исследует эти снимки вручную и проверяет состояние сосудов.

Перед нами стояла задача автоматизировать этот процесс, уменьшить трудозатраты врача и сэкономить время на диагностику по данным КТ-ангиографии. Время в этом случае – самый ценный ресурс, потому что окклюзии сосудов напрямую ведут к ишемическому инфаркту. И не просто научиться выявлять окклюзии сосудов на КТ снимке, но и локализовать их – показать врачу где они.

Анализ КТ ангиографии делается так: пациенту внутривенно вводят реактив на основе йода, который особым образом визуализируется на снимке. Условно говоря, он как бы светится на КТ снимке (но абсолютно безвреден). Реактив смешивается с кровью и бежит по всему организму, в том числе и питает мозг. В это время КТ исследование идет с артериальной фазой.

- Провели анализ научных статей и существующих подходов

- Подготовили данные – 51 пример КТА-исследований

- Реализовали модели сегментации на основе UNet

- Провели обучение моделей на 3D тензорах, оценка по метрикам DICE и BCE

- Оптимизировали модели и настроили параметры обучения и функции потерь

- Протестировали подходы 3D-сегментации, детекции и классификации кончиков сосудов

- Проанализировали результаты и предложили варианты улучшения

Выяснили, что подобных готовых решений нет ни в России, ни за рубежем (чему, на самом деле, сильно удивились). Нам казалось, что инсульты и анализ окклюзий сосудовпо КТ ангиографии– распространенное заболевание, которое кто-то да точно исследовал.

Поэтому пошли другим путем: обратились к врачам в клиниках для разметки данных. Дали им несколько снимков КТ, чтобы они по ним могли сделать выводы о наличии окклюзии сосудов у пациентов. Чтобы исключить ошибки человеческого фактора, многие снимки дублировались. Так мы получили датасет из примерно 100 медицинских заключений (позже их число увеличилось до 150.

Глобально общая схема работы получилось такой:

Представьте себе трехмерный снимок в виде книги: у нее есть высота, ширина и толщина.

Толщина представляется собой “стопку” страниц. Такой же прием мы хотели использовать в нашем сервисе:

Берем 3d-снимок компьютерной томографии, “разрезаем” его на множество слоев (страниц книги), и изучаем каждый по отдельности. Мы немедленно приступили к реализации.

Выяснилось, что на снимках КТ множество лишних деталей. Нас интересуют только кровеносные сосуды, но тут и кости, и жидкости, и ткани мозга. Поэтому надо была нужна сегментация сосудов – это мы сделали на основе UNet.

Мы сделали несколько итераций, но все равно качество нас не устроило, поскольку этот подход никак не учитывал отношения между “страницами” снимка, даже если мы разрезали его в разных плоскостях. Речь идет о серьезной угрозе здоровью, и никто не будет доволен точностью анализа 70%.

Несмотря на все трудности работы с 3D-сетями, это решение значительно улучшило результаты – точность сегментации с учетом 3D-структуры выросла, а ошибки удалось уменьшить в несколько раз. Но мы столкнулись с другими трудностями: крупные сосуды сегментировались лучше, чем мелкие. Это происходило из-за особенностей обучения нейронных сетей – они чаще всего фокусируются на крупных объектах, так они дают больший вклад в функцию потерь.

Чтобы решить это проблему, мы ввели гибридную модель, которая обрабатывала и крупные, и мелкие сосуды отдельно.

Когда решили эту задачу, перешли к не менее насущной: окклюзия, по сути, это отсутствие кровотока. Но как выявить то, чего нет?

Представьте, что вам нужно определить настенные часы на картинках. Логика нейросети будет работать так же, как у и у человека: часы это нечто круглое, с циферблатом и стрелками. Нейросеть без труда укажет участки картинок, где есть часы. Но если мы покажем вам просто фотографии стен, и попросим показать, где здесь должны быть часы, то в большинстве случаев они могли бы быть на любом месте стены.

Так же и тут: глядя на КТ снимок мы не может найти "отсутствие" кровотока. Поэтому мы решили искать "корчики" сосудов. Врач это видит так: вот идет ответвление сосуда, линия обрывается, хотя должна идти дальше. Значит, мы имеем дело не с окончанием сосуда, а с блокировкой. Это похоже на обрубок ветки. Примерно 95% окклюзий приходится именно на такие случаи.

Таким образом, мы увеличили качество диагностики.

Оценивали при помощи метрики DICE. Финальная функция потерь представляла собой комбинацию Dice Loss и Binary Cross Entropy Loss.

Dice – 0.8464

BCE – 0.474

Mean Dice (валидация) – 0.8464

Mean Dice (тест) – 0.744

Модель хорошо справляется с сегментацией сосудов – это подтверждают метрики и высокие оценки от врачей. А вот для реального определения окклюзий функционала пока что недостаточно – система требует доработок.

Работа над проектом заняла около года, каждая итерация занимала 2-3 месяца. Проект завершен, но мы оставили рекомендации по его улучшению. Вот, что можно сделать ещё:

- Увеличить количество тренировочных данных

- Использовать аугментации данных

- Применить другие архитектуры нейросетей

- Обеспечить тонкую настройку параметров обучения

- Использовать новые подходы с использованием функций из классического компьютерного зрения на пост- и препроцессинге данных

1х Data Science Lead

2x Data Scientists

1x Project Manager

Команда врачей (от заказчика)

Общая стоимость проекта составила ~10 млн

Спасибо всем, кто дочитал до конца! Подписывайтесь на наш телеграм. Там не будет новостей о новом ChatGPT и ответов на вопрос «Заменят ли нейросети человека». Будем рассказывать о разработке AI для ентерпрайза.