Программисты из Новосибирска написали и обучили нейросеть распознаванию меланомы по фото. Эффективность — более 70%
Привет! Мы команда разработчиков из славного Академгородка города Новосибирска. Вообще-то мы занимаемся созданием мобильных приложений, back, front, — всё такое. Но сегодня речь пойдёт не об этом.
На одном из брифов очного акселератора «А:Старт», проходившего у нас в Новосибирске, мы с моим другом и коллегой Евгением Царевым слушали питчи местных ребят-инноваторов.
Они рассказывали о каталогизации и тегировании изображений. Тут-то и родилась идея попробовать обучить нейросеть распознаванию меланомы по фото и появилось приложение CheckMelanoma.
Мы давно хотели начать исследования в области машинного зрения и нейросетей, потому что практически все наши разработчики этим «болеют» и им это интересно. Мы с партнёрами подумали, что пора исследовать рынок, посмотреть, какие существуют технические возможности.
Пришли к следующему: для того чтобы написать хорошую нейронную программу, нужно большое количество фотографий, то есть необходимо создать некий датасет, на котором нейронная сеть будет обучаться распознаванию заболеваний.
Сейчас программа уже стабильно работает, даёт первые результаты. Мы даже посчитали статистику: порядка 65–70% верных «диагнозов». Сейчас наша задача — найти больше фотографий, чтобы составить ещё больший датасет, возможно, даже самый большой в мире.
Пока больше всего сделали, кажется, в США, там было 110 тысяч фотографий, но у нас стоит задача собрать 200 тысяч изображений кожных заболеваний, на основе которых мы сможем обучить нашу нейросеть. Сейчас можно проводить исследование на рак кожи и на пневмонию.
Мы рекомендуем фотографировать новообразования на коже с расстояния 15 см, чётко фокусируясь на них. Если не получается, лучше всего сделать фото, а потом обрезать его, удалив всё лишнее с кадра.
Мы также хотели бы, помимо физических лиц, врачей и частных клиник, работать с госучреждениями. Если государство пойдёт нам навстречу и даст доступ к данным по кожным заболеваниям, рентгеновским снимкам (конечно, с гарантией конфиденциальности), мы будем обучать нейросеть ещё эффективнее и развивать это направление вместе.
Совместная работа позволит нам гарантировать полностью бесплатный доступ к нашим программам государственным российским учреждениям в будущем.
Для нас заработок на этом приложении — не первоцель. Я недавно задумался о том, что жить мне осталось примерно от полутора до двух тысяч недель, и хочется оставить после себя что-то хорошее, как-то помочь людям. Это не просто пафосные речи, а реальное желание.
Просто делать бизнес и получать деньги — это круто, но делать что-то полезное и хорошее для людей — это ещё круче. Это же здорово, когда ты сможешь помочь хотя бы десяти людям не умереть в молодости от самого страшного вида рака (а меланома — это самый опасный вид онкологии).
Мы не думали о том, чтобы заменить своей разработкой врачей, и не призываем людей только к самодиагностике, мы предлагаем создать систему, которая будет помогать и пациентам, и врачам быстрее выявить проблему и быстрее начать над ней работать.
Почти каждый человек ежегодно проходит флюорографию, по крайней мере должен, и если наша система, при должном уровне обучения, будет внедряться на государственном или региональном уровнях и все снимки, которые делаются пациентам в клиниках, будут прогоняться через такую систему, мы сможем увеличить количество раннего обнаружения рака легких.
Меланома — это то, с чего мы начали и на чём решили протестировать свою систему, но, поговорив с врачами, поняли, что интересуют больше рентгены, КТ и так далее
Наши планы на ближайший год: усовершенствовать систему, научив её распознавать рак кожи, рак легких и рак молочных желез с точностью до 80–85%. В ближайшем будущем необходимо допилить iOS-приложение.
Ну а пока, для удобства использования, уже есть мобильное приложение на Android, с помощью которого проводить исследования на предмет меланомы проще. Вы можете зарегистрироваться или авторизоваться в приложении и получить предварительный результат. Найти приложение можно в Google Play по запросу «Check melanoma».
Молодцы, ребята, полезная работа. За рубежом уже есть подобные разработки, например, немецкая разработка FotoFinder. Там тоже фото с дерматоскопа сверяются с большой базой снимков других пациентов.
Не знали о такой. Спасибо)
Если вы не провели хотя бы первичный обзор рынка то у меня для вашего стартапа плохие новости.
Обзор рынка был и довольно глубокий. Но как то именно этих ребят мы из вида упустили.
Важное отличие, что там именно фото с дерматоскопа (если подозрение есть к родинке на общем снимке), тут же будут фото с телефона и с верным распознованием все будет сильно сложнее.
Комментарий недоступен
Не надо бояться, мои друзья из Deepdee также начинали с уровня, а не запилить ли нам нейронку по диагностике заболеваний. В итоге получили поддержку в Нидерландах и активно ее внедряют. А на старте не медицинского образования, не опыта в нейронках не было, учились постепенно.
Ого, почитаем о ваших друзьях, спасибо
Про обратную сторону медали Вы важный момент отметили.
А что касается идеи про ногти - возможно в команде у ребят нет представителей ЦА и они о таком варианте и подумать не могли (к слову о ценности более широкого половозрастного профиля команд проектов).
Но если вариант практического применения предложите, смогут направить энергию в более безопасное русло. Или кто-то еще из читающих озадачится.
Пугает, что кого-то что-то пугает в таких наработках.
Как вообще можно оперировать термином "точность распознавания", если ваша система выдает не бинарный результат да/нет, а некую непонятную цифру в процентах? Кстати, попробуйте сами в математических терминах сформулировать что эта цифра значит, например "вероятностью" она быть никак не может, ну в математическом смысле вероятностью, а не как в анекдоте про динозавра.
Недавно в новостях видел, что у нас в Томске онкоцентр по фотке может примерно определить "опасна" родинка или нет. Дайте им свой инструмент, а то ручками все делают)
Но основной вопрос конечно - в каких случаях понадобится такое "исследование", если точность не 99%? В любом случае лучше идти к врачу, иначе никак. Или как это все происходит? Я так понимаю, тут имеет значение, с какой точность врач определит, стоит ли удалять родинку?
На данный момент мы лишь тестируем такие технологии. Но в дальнейшем можно довести процент правильных определений и до 90%. Будем работать над этим.
Спасибо за Томск. Ссылочку не подскажите на новость?
https://news.vtomske.ru/news/163522-vrachi-onkodispansera-budut-proveryat-rodinki-tomichei-po-foto
Спасибо
Тут скорее для обывателей типа нас с вами. Вот есть у меня пара родинок с рождения или типа того. Они меня не беспокоят вообще, к врачу я конечно не попрусь с ними. Но если бы было какое-то приложение я бы проверил для спокойствия. И вот если бы там мне показало типа 60% вероятность, что это плохо, тогда бы пошел. А так только когда, возможно, будет поздновато.
Не, погодите, почти 70% у них чего? Того, что они верно определят. То есть они вас посмотрят, скажут что ок, но на самом деле не ок. И так с тремя из десяти. То есть вас ошибочно убедят, что у вас ок.
В этом то пока и кроется основная проблема. Для повышения точности, необходим большой объем данных. В любом случае даже при 90% правильных определений есть шанс на ошибку. У врачей при первичном осмотре шанс ошибиться около 25%
Совершенно точно сказать рак это или нет может только биопсия.
Так а какие recall / precision у модели? И вы не думали модель за ложные отрицательные срабатывания штрафовать?
Мы сейчас сконцентрированы на наращивании дата-сета, расширении исследуемых отклонений в целом. Что бы штрафовать систему за ложные срабатывания, необходимо в штат садить врача-рентгенолога и врача-онколога. Для нас пока это финансово невозможно. Либо необходимо предусмотреть систему, когда врачи сами отмечают ложные срабатывания.
Пока будем думать над этим, но спасибо за наставление на путь истинный)
Видимо, вы не совсем поняли. Вы же тренируете модель на размеченном датасете? Те для каждой картинки в датасете кто-то уже определил корректный диагноз. При обучении модели всегда присутствует некоторая функция потерь, которую мы пытаемся оптимизировать (найти те параметры модели при которых значение этой функции минимально). Можно сделать так чтобы значение функции потерь было бы больше в случае ложно отрицательного срабатывания чем в случае ложно положительного. Поскольку, кмк, лучше лишний раз отправить пользователя к врачу, чем напрасно успокоить.
Теперь понял о чем вы. Но к врачу мы отправляем в любом случае. Юристы посоветовали нам делать это всегда)
Дак а обычный гражданин пока не может воспользоваться вашим сервисом получается?
Может конечно. Регистрируйтесь и вперед. Если есть андроид телефон - еще проще https://play.google.com/store/apps/details?id=com.era.checkmelanoma
Очень-очень круто. Удачи, ребят
Спасибо, будем постараться
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
очень круто, так скоро к врачам перестанем вообще ходить)
Это будет может не скоро, но именно такой я представляю себе свою старость.
аналогично, и никаких лишних движений. пожалуй, таким программам стоит доверять больше, чем многим врачам
Да ну что вы) Пройдет не один десяток лет, когда о таком начнут говорить всерьез. А может и сотня.
жаль, хотелось бы раньше видеть прогресс
Короче, вчера проверил пару родинок по вашей системе. Показало вероятность 70% что всё плохо. Я обосрался и пошел сегодня к врачу. Всё ок. Как система запугивания - работает отлично. Но как продукт - пока нет.
Уже результат. Если Вы не против, пришлите пожалуйста фото которое вы загружали на почту [email protected] и мы попробуем провести тесты и разобраться в чем причина такой реакции. Спасибо.
Ну зато к врачу сходил.
Поэтому они и пишут, что рекомендуется обратится к врачу в любом случае
Конечно лучше подкрутить алгоритм, что бы он больше ложно положительных срабатываний делал, чем отрицательных.
Если человек, который к врачу не собирался от программы получит диагноз меланома, то вероятность его посещения врача сильно возрастет. А это плюс в карму разработчикам.
Круто! А мы с экспертом как раз создали и развиваем онлайн-академию для врачей дерматовенерологов, онкологов, косметологов и тд, по обучению дерматоскопии) Не ожидал тут такую статью встретить и тем более, столь полезную разработку! Молодцы!
Супер! так давайте сотрудничать)
Да, давайте обменяемся контактами, может действительно сможем чем-нибудь помочь друг-другу!
[email protected]
@darkfesco - телега
Загрузил в сервис фото булочки с изюмом. После нескольких проб и попыток выяснил что чем больше изюма тем больше % меланомы. Например на фото > 50% меланомы. Отнесу как я ее к врачу
Да, вполне возможно там где-то есть рак.
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Комментарий удален модератором
Добрый день. Вот наши рекомендации по структуре и оформлению материала на подсайте «Трибуна», обратите на них внимание: https://vc.ru/tribuna/58504 Еще можно добавить несколько скриншотов интерфейса.
Спасибо, сейчас займусь
Ctrl+Enter
65% верных диагнозов это как? Интересно было бы увидеть оценку true/false positive/negative хотя бы.
Главное тут это специфичность. Если там не 95+%, то это очень плохо.
0.7 по какой метрике?
Комментарий недоступен
Вау, респект. Сейчас загрузим...
Комментарий удален модератором