Программисты из Новосибирска написали и обучили нейросеть распознаванию меланомы по фото. Эффективность — более 70%

Привет! Мы команда разработчиков из славного Академгородка города Новосибирска. Вообще-то мы занимаемся созданием мобильных приложений, back, front, — всё такое. Но сегодня речь пойдёт не об этом.

На одном из брифов очного акселератора «А:Старт», проходившего у нас в Новосибирске, мы с моим другом и коллегой Евгением Царевым слушали питчи местных ребят-инноваторов.

Они рассказывали о каталогизации и тегировании изображений. Тут-то и родилась идея попробовать обучить нейросеть распознаванию меланомы по фото и появилось приложение CheckMelanoma.

Мы давно хотели начать исследования в области машинного зрения и нейросетей, потому что практически все наши разработчики этим «болеют» и им это интересно. Мы с партнёрами подумали, что пора исследовать рынок, посмотреть, какие существуют технические возможности.

Пришли к следующему: для того чтобы написать хорошую нейронную программу, нужно большое количество фотографий, то есть необходимо создать некий датасет, на котором нейронная сеть будет обучаться распознаванию заболеваний.

Этапы становления программиста
Этапы становления программиста

Сейчас программа уже стабильно работает, даёт первые результаты. Мы даже посчитали статистику: порядка 65–70% верных «диагнозов». Сейчас наша задача — найти больше фотографий, чтобы составить ещё больший датасет, возможно, даже самый большой в мире.

Пока больше всего сделали, кажется, в США, там было 110 тысяч фотографий, но у нас стоит задача собрать 200 тысяч изображений кожных заболеваний, на основе которых мы сможем обучить нашу нейросеть. Сейчас можно проводить исследование на рак кожи и на пневмонию.

Системы такого рода очень требовательны к качеству фотографий. И если с рентгеновскими снимками проблем почти нет, то провести исследование на меланому бывает сложно, так как на фото не должно присутствовать ничего кроме кожи и самого новообразования.

Мы рекомендуем фотографировать новообразования на коже с расстояния 15 см, чётко фокусируясь на них. Если не получается, лучше всего сделать фото, а потом обрезать его, удалив всё лишнее с кадра.

Мы также хотели бы, помимо физических лиц, врачей и частных клиник, работать с госучреждениями. Если государство пойдёт нам навстречу и даст доступ к данным по кожным заболеваниям, рентгеновским снимкам (конечно, с гарантией конфиденциальности), мы будем обучать нейросеть ещё эффективнее и развивать это направление вместе.

Совместная работа позволит нам гарантировать полностью бесплатный доступ к нашим программам государственным российским учреждениям в будущем.

Для нас заработок на этом приложении — не первоцель. Я недавно задумался о том, что жить мне осталось примерно от полутора до двух тысяч недель, и хочется оставить после себя что-то хорошее, как-то помочь людям. Это не просто пафосные речи, а реальное желание.

Просто делать бизнес и получать деньги — это круто, но делать что-то полезное и хорошее для людей — это ещё круче. Это же здорово, когда ты сможешь помочь хотя бы десяти людям не умереть в молодости от самого страшного вида рака (а меланома — это самый опасный вид онкологии).

Мы не думали о том, чтобы заменить своей разработкой врачей, и не призываем людей только к самодиагностике, мы предлагаем создать систему, которая будет помогать и пациентам, и врачам быстрее выявить проблему и быстрее начать над ней работать.

Почти каждый человек ежегодно проходит флюорографию, по крайней мере должен, и если наша система, при должном уровне обучения, будет внедряться на государственном или региональном уровнях и все снимки, которые делаются пациентам в клиниках, будут прогоняться через такую систему, мы сможем увеличить количество раннего обнаружения рака легких.

Меланома — это то, с чего мы начали и на чём решили протестировать свою систему, но, поговорив с врачами, поняли, что интересуют больше рентгены, КТ и так далее

Наши планы на ближайший год: усовершенствовать систему, научив её распознавать рак кожи, рак легких и рак молочных желез с точностью до 80–85%. В ближайшем будущем необходимо допилить iOS-приложение.

Ну а пока, для удобства использования, уже есть мобильное приложение на Android, с помощью которого проводить исследования на предмет меланомы проще. Вы можете зарегистрироваться или авторизоваться в приложении и получить предварительный результат. Найти приложение можно в Google Play по запросу «Check melanoma».

Интерфейс мобильного приложения CheckMelanoma  Roman Davydov
Интерфейс мобильного приложения CheckMelanoma  Roman Davydov

Помните, что система является информационной и для постановки диагноза вам следует обратится к врачу. Так же необходимо помнить о том, что система чувствительна к качеству фото. Если система показала, что у вас большой процент вероятности меланомы, не спешите падать в обморок. Но подумайте о том, чтобы обратится к врачу.

5858
49 комментариев

Молодцы, ребята, полезная работа. За рубежом уже есть подобные разработки, например, немецкая разработка FotoFinder. Там тоже фото с дерматоскопа сверяются с большой базой снимков других пациентов.

13
Ответить

Не знали о такой. Спасибо)

1
Ответить

Важное отличие, что там именно фото с дерматоскопа (если подозрение есть к родинке на общем снимке), тут же будут фото с телефона и с верным распознованием все будет сильно сложнее.

1
Ответить

Комментарий недоступен

7
Ответить

Не надо бояться, мои друзья из Deepdee также начинали с уровня, а не запилить ли нам нейронку по диагностике заболеваний. В итоге получили поддержку в Нидерландах и активно ее внедряют. А на старте не медицинского образования, не опыта в нейронках не было, учились постепенно.

1
Ответить

Про обратную сторону медали Вы важный момент отметили.

А что касается идеи про ногти - возможно в команде у ребят нет представителей ЦА и они о таком варианте и подумать не могли (к слову о ценности более широкого половозрастного профиля команд проектов).

Но если вариант практического применения предложите, смогут направить энергию в более безопасное русло. Или кто-то еще из читающих озадачится.

Ответить

Пугает, что кого-то что-то пугает в таких наработках.

Ответить