Как искусственный интеллект контролирует врачей "Доктор рядом"

Привет! Мы - команда медицинской компании "Доктор рядом", которая управляет 12 клиниками в Москве и популярным телемедицинским сервисом. В сентябре 2018-го мы внедрили систему на основе искусственного интеллекта, которая помогает нам контролировать качество работы врачей, и за 7 месяцев более половины наших врачей стали работать лучше. Рассказываем, как это работает

Как работает алгоритм

В основе системы лежит алгоритм, способный распознавать натуральный язык и сравнивать результаты с очень масштабной базой медицинских знаний. Система анализирует медицинские документы по 15 параметрам: от полноты сбора анамнеза до правильности назначенных дозировок лекарств. Алгоритм изучает зависимости между данными, указанными в карте, и выставляет оценки по каждому из критериев.

Протоколы с хорошими оценками система размечает как соответствующие по качеству, а те, что по каким-то критериям получили недостаточно высокий балл, отправляет на ручную проверку главному врачу. Эту разработку изначально сделали для себя наши коллеги из Doc+, а летом прошлого года мы вместе адаптировали ее для работы с нашими медицинскими протоколами.

Оценки протоколам, оценки врачам: все под контролем

С сентября алгоритм автоматически проверяет 100% медицинских протоколов, которые после приема пациентов заполняют наши врачи, за это время она обработала уже больше 40 000 документов.

Примерно 80% из них получили оценку выше средней, и лишь только 20% протоколов, в которых были неточности, отправились на ручную проверку. Легко догадаться, что такой подход не только позволил усилить контроль качества, но и сэкономил время нашим главным врачам - они проверяли только те документы, которые требовали их внимание, и не тратили время на изучение "хороших" протоколов.

В среднем каждый наш главный врач за последние 7 месяцев проверял порядка 100 протоколов. Что же в них было не так? К счастью, подавляющее большинство протоколов, прошедших ручную проверку, содержали неточности технического характера, серьезных нарушений не было. Чаще всего система сигнализировала о том, что не все поля в протоколе заполнены. Врачи-авторы таких протоколов получали сообщения о необходимости исправить ту или иную неточность и в будущем заполнять все поля.

На основе оценки качества протоколов мы стали выставлять рейтинговые оценки врачам-авторам документов. Поучилась ясная картинка: мы увидели среднюю оценку по клиникам, динамику показателей, успехи каждого специалиста. Обобщенные данные за 7 месяцев работы показали, что более половины врачей "Доктор рядом" улучшили свои показатели после внедрения системы, выросло и число протоколов со средними и хорошими оценками.

Благодаря этому алгоритму сейчас мы можем проверять качество всех без исключения медицинских документов, тогда как до сентября 2018-го проверка качества протоколов была ручной и выборочной, так как ни один главный врач, ответственный за контроль качества, физически не может проверить больше нескольких сотен протоколов в месяц.