Программисты из Новосибирска написали и обучили нейросеть распознаванию меланомы по фото. Эффективность — более 70%

Привет! Мы команда разработчиков из славного Академгородка города Новосибирска. Вообще-то мы занимаемся созданием мобильных приложений, back, front, — всё такое. Но сегодня речь пойдёт не об этом.

На одном из брифов очного акселератора «А:Старт», проходившего у нас в Новосибирске, мы с моим другом и коллегой Евгением Царевым слушали питчи местных ребят-инноваторов.

Они рассказывали о каталогизации и тегировании изображений. Тут-то и родилась идея попробовать обучить нейросеть распознаванию меланомы по фото и появилось приложение CheckMelanoma.

Мы давно хотели начать исследования в области машинного зрения и нейросетей, потому что практически все наши разработчики этим «болеют» и им это интересно. Мы с партнёрами подумали, что пора исследовать рынок, посмотреть, какие существуют технические возможности.

Пришли к следующему: для того чтобы написать хорошую нейронную программу, нужно большое количество фотографий, то есть необходимо создать некий датасет, на котором нейронная сеть будет обучаться распознаванию заболеваний.

Этапы становления программиста

Сейчас программа уже стабильно работает, даёт первые результаты. Мы даже посчитали статистику: порядка 65–70% верных «диагнозов». Сейчас наша задача — найти больше фотографий, чтобы составить ещё больший датасет, возможно, даже самый большой в мире.

Пока больше всего сделали, кажется, в США, там было 110 тысяч фотографий, но у нас стоит задача собрать 200 тысяч изображений кожных заболеваний, на основе которых мы сможем обучить нашу нейросеть. Сейчас можно проводить исследование на рак кожи и на пневмонию.

Системы такого рода очень требовательны к качеству фотографий. И если с рентгеновскими снимками проблем почти нет, то провести исследование на меланому бывает сложно, так как на фото не должно присутствовать ничего кроме кожи и самого новообразования.

Мы рекомендуем фотографировать новообразования на коже с расстояния 15 см, чётко фокусируясь на них. Если не получается, лучше всего сделать фото, а потом обрезать его, удалив всё лишнее с кадра.

Мы также хотели бы, помимо физических лиц, врачей и частных клиник, работать с госучреждениями. Если государство пойдёт нам навстречу и даст доступ к данным по кожным заболеваниям, рентгеновским снимкам (конечно, с гарантией конфиденциальности), мы будем обучать нейросеть ещё эффективнее и развивать это направление вместе.

Совместная работа позволит нам гарантировать полностью бесплатный доступ к нашим программам государственным российским учреждениям в будущем.

Для нас заработок на этом приложении — не первоцель. Я недавно задумался о том, что жить мне осталось примерно от полутора до двух тысяч недель, и хочется оставить после себя что-то хорошее, как-то помочь людям. Это не просто пафосные речи, а реальное желание.

Просто делать бизнес и получать деньги — это круто, но делать что-то полезное и хорошее для людей — это ещё круче. Это же здорово, когда ты сможешь помочь хотя бы десяти людям не умереть в молодости от самого страшного вида рака (а меланома — это самый опасный вид онкологии).

Мы не думали о том, чтобы заменить своей разработкой врачей, и не призываем людей только к самодиагностике, мы предлагаем создать систему, которая будет помогать и пациентам, и врачам быстрее выявить проблему и быстрее начать над ней работать.

Почти каждый человек ежегодно проходит флюорографию, по крайней мере должен, и если наша система, при должном уровне обучения, будет внедряться на государственном или региональном уровнях и все снимки, которые делаются пациентам в клиниках, будут прогоняться через такую систему, мы сможем увеличить количество раннего обнаружения рака легких.

Меланома — это то, с чего мы начали и на чём решили протестировать свою систему, но, поговорив с врачами, поняли, что интересуют больше рентгены, КТ и так далее

Наши планы на ближайший год: усовершенствовать систему, научив её распознавать рак кожи, рак легких и рак молочных желез с точностью до 80–85%. В ближайшем будущем необходимо допилить iOS-приложение.

Ну а пока, для удобства использования, уже есть мобильное приложение на Android, с помощью которого проводить исследования на предмет меланомы проще. Вы можете зарегистрироваться или авторизоваться в приложении и получить предварительный результат. Найти приложение можно в Google Play по запросу «Check melanoma».

Интерфейс мобильного приложения CheckMelanoma  Roman Davydov

Помните, что система является информационной и для постановки диагноза вам следует обратится к врачу. Так же необходимо помнить о том, что система чувствительна к качеству фото. Если система показала, что у вас большой процент вероятности меланомы, не спешите падать в обморок. Но подумайте о том, чтобы обратится к врачу.

0
49 комментариев
Написать комментарий...
Владимир Федин

Молодцы, ребята, полезная работа. За рубежом уже есть подобные разработки, например, немецкая разработка FotoFinder. Там тоже фото с дерматоскопа сверяются с большой базой снимков других пациентов.

Ответить
Развернуть ветку
Роман Давыдов
Автор

Не знали о такой. Спасибо)

Ответить
Развернуть ветку
Anton Kozlov

Если вы не провели хотя бы первичный обзор рынка то у меня для вашего стартапа плохие новости.

Ответить
Развернуть ветку
Роман Давыдов
Автор

Обзор рынка был и довольно глубокий. Но как то именно этих ребят мы из вида упустили.

Ответить
Развернуть ветку
Иван Хлипиткин

Важное отличие, что там именно фото с дерматоскопа (если подозрение есть к родинке на общем снимке), тут же будут фото с телефона и с верным распознованием все будет сильно сложнее.

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Siarhei Nekhaichyk

Не надо бояться, мои друзья из Deepdee также начинали с уровня, а не запилить ли нам нейронку по диагностике заболеваний. В итоге получили поддержку в Нидерландах и активно ее внедряют. А на старте не медицинского образования, не опыта в нейронках не было, учились постепенно.

Ответить
Развернуть ветку
Роман Давыдов
Автор

Ого, почитаем о ваших друзьях, спасибо

Ответить
Развернуть ветку
Yury

Про обратную сторону медали Вы важный момент отметили.

А что касается идеи про ногти - возможно в команде у ребят нет представителей ЦА и они о таком варианте и подумать не могли (к слову о ценности более широкого половозрастного профиля команд проектов).

Но если вариант практического применения предложите, смогут направить энергию в более безопасное русло. Или кто-то еще из читающих озадачится.

Ответить
Развернуть ветку
Vlad Vernigora

Пугает, что кого-то что-то пугает в таких наработках.

Ответить
Развернуть ветку
Serge Kharkov

Как вообще можно оперировать термином "точность распознавания", если ваша система выдает не бинарный результат да/нет, а некую непонятную цифру в процентах? Кстати, попробуйте сами в математических терминах сформулировать что эта цифра значит, например "вероятностью" она быть никак не может, ну в математическом смысле вероятностью, а не как в анекдоте про динозавра.

Ответить
Развернуть ветку
Сергей Я

Недавно в новостях видел, что у нас в Томске онкоцентр по фотке может примерно определить "опасна" родинка или нет. Дайте им свой инструмент, а то ручками все делают)

Но основной вопрос конечно - в каких случаях понадобится такое "исследование", если точность не 99%? В любом случае лучше идти к врачу, иначе никак. Или как это все происходит? Я так понимаю, тут имеет значение, с какой точность врач определит, стоит ли удалять родинку?

Ответить
Развернуть ветку
Роман Давыдов
Автор

На данный момент мы лишь тестируем такие технологии. Но в дальнейшем можно довести процент правильных определений и до 90%. Будем работать над этим.
Спасибо за Томск. Ссылочку не подскажите на новость?

Ответить
Развернуть ветку
Сергей Я
Ответить
Развернуть ветку
Роман Давыдов
Автор

Спасибо

Ответить
Развернуть ветку
Aleksey Paschenko

Тут скорее для обывателей типа нас с вами. Вот есть у меня пара родинок с рождения или типа того. Они меня не беспокоят вообще, к врачу я конечно не попрусь с ними. Но если бы было какое-то приложение я бы проверил для спокойствия. И вот если бы там мне показало типа 60% вероятность, что это плохо, тогда бы пошел. А так только когда, возможно, будет поздновато.

Ответить
Развернуть ветку
Сергей Я

Не, погодите, почти 70% у них чего? Того, что они верно определят. То есть они вас посмотрят, скажут что ок, но на самом деле не ок. И так с тремя из десяти. То есть вас ошибочно убедят, что у вас ок.

Ответить
Развернуть ветку
Роман Давыдов
Автор

В этом то пока и кроется основная проблема. Для повышения точности, необходим большой объем данных. В любом случае даже при 90% правильных определений есть шанс на ошибку. У врачей при первичном осмотре шанс ошибиться около 25%
Совершенно точно сказать рак это или нет может только биопсия.

Ответить
Развернуть ветку
Давид Каминер

Так а какие recall / precision у модели? И вы не думали модель за ложные отрицательные срабатывания штрафовать?

Ответить
Развернуть ветку
Роман Давыдов
Автор

Мы сейчас сконцентрированы на наращивании дата-сета, расширении исследуемых отклонений в целом. Что бы штрафовать систему за ложные срабатывания, необходимо в штат садить врача-рентгенолога и врача-онколога. Для нас пока это финансово невозможно. Либо необходимо предусмотреть систему, когда врачи сами отмечают ложные срабатывания.
Пока будем думать над этим, но спасибо за наставление на путь истинный)

Ответить
Развернуть ветку
Давид Каминер

Видимо, вы не совсем поняли. Вы же тренируете модель на размеченном датасете? Те для каждой картинки в датасете кто-то уже определил корректный диагноз. При обучении модели всегда присутствует некоторая функция потерь, которую мы пытаемся оптимизировать (найти те параметры модели при которых значение этой функции минимально). Можно сделать так чтобы значение функции потерь было бы больше в случае ложно отрицательного срабатывания чем в случае ложно положительного. Поскольку, кмк, лучше лишний раз отправить пользователя к врачу, чем напрасно успокоить.

Ответить
Развернуть ветку
Роман Давыдов
Автор

Теперь понял о чем вы. Но к врачу мы отправляем в любом случае. Юристы посоветовали нам делать это всегда)

Ответить
Развернуть ветку
Сергей Я

Дак а обычный гражданин пока не может воспользоваться вашим сервисом получается?

Ответить
Развернуть ветку
Роман Давыдов
Автор

Может конечно. Регистрируйтесь и вперед. Если есть андроид телефон - еще проще https://play.google.com/store/apps/details?id=com.era.checkmelanoma

Ответить
Развернуть ветку
Даниил Кукушкин

Очень-очень круто. Удачи, ребят

Ответить
Развернуть ветку
Роман Давыдов
Автор

Спасибо, будем постараться

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
lana marianna

очень круто, так скоро к врачам перестанем вообще ходить)

Ответить
Развернуть ветку
Роман Давыдов
Автор

Это будет может не скоро, но именно такой я представляю себе свою старость.

Ответить
Развернуть ветку
lana marianna

аналогично, и никаких лишних движений. пожалуй, таким программам стоит доверять больше, чем многим врачам

Ответить
Развернуть ветку
Роман Давыдов
Автор

Да ну что вы) Пройдет не один десяток лет, когда о таком начнут говорить всерьез. А может и сотня.

Ответить
Развернуть ветку
lana marianna

жаль, хотелось бы раньше видеть прогресс

Ответить
Развернуть ветку
Dmitry Zinoviev

Короче, вчера проверил пару родинок по вашей системе. Показало вероятность 70% что всё плохо. Я обосрался и пошел сегодня к врачу. Всё ок. Как система запугивания - работает отлично. Но как продукт - пока нет.

Ответить
Развернуть ветку
Роман Давыдов
Автор

Уже результат. Если Вы не против, пришлите пожалуйста фото которое вы загружали на почту [email protected] и мы попробуем провести тесты и разобраться в чем причина такой реакции. Спасибо.

Ответить
Развернуть ветку
Елена Краско

Ну зато к врачу сходил.

Ответить
Развернуть ветку
Иван Хлипиткин

Поэтому они и пишут, что рекомендуется обратится к врачу в любом случае
Конечно лучше подкрутить алгоритм, что бы он больше ложно положительных срабатываний делал, чем отрицательных.
Если человек, который к врачу не собирался от программы получит диагноз меланома, то вероятность его посещения врача сильно возрастет. А это плюс в карму разработчикам.

Ответить
Развернуть ветку
Чердак маркетолога

Круто! А мы с экспертом как раз создали и развиваем онлайн-академию для врачей дерматовенерологов, онкологов, косметологов и тд, по обучению дерматоскопии) Не ожидал тут такую статью встретить и тем более, столь полезную разработку! Молодцы!

Ответить
Развернуть ветку
Роман Давыдов
Автор

Супер! так давайте сотрудничать)

Ответить
Развернуть ветку
Чердак маркетолога

Да, давайте обменяемся контактами, может действительно сможем чем-нибудь помочь друг-другу!

Ответить
Развернуть ветку
Роман Давыдов
Автор

[email protected]
@darkfesco - телега

Ответить
Развернуть ветку
Nikita Rogatov

Загрузил в сервис фото булочки с изюмом. После нескольких проб и попыток выяснил что чем больше изюма тем больше % меланомы. Например на фото > 50% меланомы. Отнесу как я ее к врачу

Ответить
Развернуть ветку
Роман Давыдов
Автор

Да, вполне возможно там где-то есть рак.

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку

Комментарий удален модератором

Развернуть ветку
Кирилл Казаков

Добрый день. Вот наши рекомендации по структуре и оформлению материала на подсайте «Трибуна», обратите на них внимание: https://vc.ru/tribuna/58504 Еще можно добавить несколько скриншотов интерфейса.

Ответить
Развернуть ветку
Роман Давыдов
Автор

Спасибо, сейчас займусь

Ответить
Развернуть ветку
Εгор Κонстантинов
Тут то и родилась идея попробовать обучить нейросеть распознавать меленному по фото.

Ctrl+Enter

Ответить
Развернуть ветку
Roman Lugovkin

65% верных диагнозов это как? Интересно было бы увидеть оценку true/false positive/negative хотя бы.

Ответить
Развернуть ветку
Yuriy Petrov

Главное тут это специфичность. Если там не 95+%, то это очень плохо.

Ответить
Развернуть ветку
Стёпа Арепьев

0.7 по какой метрике?

Ответить
Развернуть ветку
Аккаунт удален

Комментарий недоступен

Ответить
Развернуть ветку
Макс Лысюк

Вау, респект. Сейчас загрузим...

Ответить
Развернуть ветку

Комментарий удален модератором

Развернуть ветку
46 комментариев
Раскрывать всегда