Трибуна Роман Давыдов
4 049

Программисты из Новосибирска написали и обучили нейросеть распознаванию меланомы по фото. Эффективность — более 70%

Привет! Мы команда разработчиков из славного Академгородка города Новосибирска. Вообще-то мы занимаемся созданием мобильных приложений, back, front, — всё такое. Но сегодня речь пойдёт не об этом.

В закладки
Аудио

На одном из брифов очного акселератора «А:Старт», проходившего у нас в Новосибирске, мы с моим другом и коллегой Евгением Царевым слушали питчи местных ребят-инноваторов.

Они рассказывали о каталогизации и тегировании изображений. Тут-то и родилась идея попробовать обучить нейросеть распознаванию меланомы по фото и появилось приложение CheckMelanoma.

Мы давно хотели начать исследования в области машинного зрения и нейросетей, потому что практически все наши разработчики этим «болеют» и им это интересно. Мы с партнёрами подумали, что пора исследовать рынок, посмотреть, какие существуют технические возможности.

Пришли к следующему: для того чтобы написать хорошую нейронную программу, нужно большое количество фотографий, то есть необходимо создать некий датасет, на котором нейронная сеть будет обучаться распознаванию заболеваний.

Этапы становления программиста

Сейчас программа уже стабильно работает, даёт первые результаты. Мы даже посчитали статистику: порядка 65–70% верных «диагнозов». Сейчас наша задача — найти больше фотографий, чтобы составить ещё больший датасет, возможно, даже самый большой в мире.

Пока больше всего сделали, кажется, в США, там было 110 тысяч фотографий, но у нас стоит задача собрать 200 тысяч изображений кожных заболеваний, на основе которых мы сможем обучить нашу нейросеть. Сейчас можно проводить исследование на рак кожи и на пневмонию.

Системы такого рода очень требовательны к качеству фотографий. И если с рентгеновскими снимками проблем почти нет, то провести исследование на меланому бывает сложно, так как на фото не должно присутствовать ничего кроме кожи и самого новообразования.

Мы рекомендуем фотографировать новообразования на коже с расстояния 15 см, чётко фокусируясь на них. Если не получается, лучше всего сделать фото, а потом обрезать его, удалив всё лишнее с кадра.

Мы также хотели бы, помимо физических лиц, врачей и частных клиник, работать с госучреждениями. Если государство пойдёт нам навстречу и даст доступ к данным по кожным заболеваниям, рентгеновским снимкам (конечно, с гарантией конфиденциальности), мы будем обучать нейросеть ещё эффективнее и развивать это направление вместе.

Совместная работа позволит нам гарантировать полностью бесплатный доступ к нашим программам государственным российским учреждениям в будущем.

Для нас заработок на этом приложении — не первоцель. Я недавно задумался о том, что жить мне осталось примерно от полутора до двух тысяч недель, и хочется оставить после себя что-то хорошее, как-то помочь людям. Это не просто пафосные речи, а реальное желание.

Просто делать бизнес и получать деньги — это круто, но делать что-то полезное и хорошее для людей — это ещё круче. Это же здорово, когда ты сможешь помочь хотя бы десяти людям не умереть в молодости от самого страшного вида рака (а меланома — это самый опасный вид онкологии).

Мы не думали о том, чтобы заменить своей разработкой врачей, и не призываем людей только к самодиагностике, мы предлагаем создать систему, которая будет помогать и пациентам, и врачам быстрее выявить проблему и быстрее начать над ней работать.

Почти каждый человек ежегодно проходит флюорографию, по крайней мере должен, и если наша система, при должном уровне обучения, будет внедряться на государственном или региональном уровнях и все снимки, которые делаются пациентам в клиниках, будут прогоняться через такую систему, мы сможем увеличить количество раннего обнаружения рака легких.

Меланома — это то, с чего мы начали и на чём решили протестировать свою систему, но, поговорив с врачами, поняли, что интересуют больше рентгены, КТ и так далее

Наши планы на ближайший год: усовершенствовать систему, научив её распознавать рак кожи, рак легких и рак молочных желез с точностью до 80–85%. В ближайшем будущем необходимо допилить iOS-приложение.

Ну а пока, для удобства использования, уже есть мобильное приложение на Android, с помощью которого проводить исследования на предмет меланомы проще. Вы можете зарегистрироваться или авторизоваться в приложении и получить предварительный результат. Найти приложение можно в Google Play по запросу «Check melanoma».

Интерфейс мобильного приложения CheckMelanoma  Roman Davydov

Помните, что система является информационной и для постановки диагноза вам следует обратится к врачу. Так же необходимо помнить о том, что система чувствительна к качеству фото. Если система показала, что у вас большой процент вероятности меланомы, не спешите падать в обморок. Но подумайте о том, чтобы обратится к врачу.

Материал опубликован пользователем. Нажмите кнопку «Написать», чтобы поделиться мнением или рассказать о своём проекте.

Написать
{ "author_name": "Роман Давыдов", "author_type": "self", "tags": [], "comments": 47, "likes": 61, "favorites": 52, "is_advertisement": false, "subsite_label": "tribuna", "id": 70268, "is_wide": false, "is_ugc": true, "date": "Tue, 04 Jun 2019 11:22:39 +0300" }
{ "id": 70268, "author_id": 167821, "diff_limit": 1000, "urls": {"diff":"\/comments\/70268\/get","add":"\/comments\/70268\/add","edit":"\/comments\/edit","remove":"\/admin\/comments\/remove","pin":"\/admin\/comments\/pin","get4edit":"\/comments\/get4edit","complain":"\/comments\/complain","load_more":"\/comments\/loading\/70268"}, "attach_limit": 2, "max_comment_text_length": 5000, "subsite_id": 199116, "last_count_and_date": null }

47 комментариев 47 комм.

Популярные

По порядку

Написать комментарий...
12

Молодцы, ребята, полезная работа. За рубежом уже есть подобные разработки, например, немецкая разработка FotoFinder. Там тоже фото с дерматоскопа сверяются с большой базой снимков других пациентов.

Ответить
0

Не знали о такой. Спасибо)

Ответить
2

Если вы не провели хотя бы первичный обзор рынка то у меня для вашего стартапа плохие новости.

Ответить
0

Обзор рынка был и довольно глубокий. Но как то именно этих ребят мы из вида упустили.

Ответить
1

Важное отличие, что там именно фото с дерматоскопа (если подозрение есть к родинке на общем снимке), тут же будут фото с телефона и с верным распознованием все будет сильно сложнее.

Ответить
4

Пугает, что люди без опыта взялись сразу за такие серьезные исследования, я имею ввиду не серьезность программы нейросети, а саму концепцию связанную с медициной.
Больные, особенно мужчины, крайне неохотно посещают мед.заведения, но есть и такие же женщины, и вот им вы даете надежду, что ваша программа определила "не опасность" заболевания, посещать врача не стоит, можно еще потерпеть пока она (болячка) подрастет.
*почему бы не начать с чего полегче и что будет нести менее тяжелые последствия как моральные для вас, так и для людей которым вы представляете продукт?

- Китайский программист живущий в Германии залил 100TB прон видео в комп и научил нейросеть распознавать лица девушек из роликов в соц.сетях. Мотивом было то, что мужчины теперь имеют хоть небольшой шанс узнать, снималась ли девушка в подобных видео до встречи с ним. В результате сеть определила почти 98 000 девушек лица которых мелькали в роликах.
- вы могли бы например сделать что-то для ногтей, тема крайне популярна, если бы вы кинули несколько запросов в популярные форумы, сайты, блогерам, то смогли бы получить тысячи и тысячи откликов и фотографий. Как для изучения самого процесса самое то.

Ответить
1

Не надо бояться, мои друзья из Deepdee также начинали с уровня, а не запилить ли нам нейронку по диагностике заболеваний. В итоге получили поддержку в Нидерландах и активно ее внедряют. А на старте не медицинского образования, не опыта в нейронках не было, учились постепенно.

Ответить
0

Ого, почитаем о ваших друзьях, спасибо

Ответить
0

Про обратную сторону медали Вы важный момент отметили.

А что касается идеи про ногти - возможно в команде у ребят нет представителей ЦА и они о таком варианте и подумать не могли (к слову о ценности более широкого половозрастного профиля команд проектов).

Но если вариант практического применения предложите, смогут направить энергию в более безопасное русло. Или кто-то еще из читающих озадачится.

Ответить
0

Пугает, что кого-то что-то пугает в таких наработках.

Ответить
5

Как вообще можно оперировать термином "точность распознавания", если ваша система выдает не бинарный результат да/нет, а некую непонятную цифру в процентах? Кстати, попробуйте сами в математических терминах сформулировать что эта цифра значит, например "вероятностью" она быть никак не может, ну в математическом смысле вероятностью, а не как в анекдоте про динозавра.

Ответить
2

Недавно в новостях видел, что у нас в Томске онкоцентр по фотке может примерно определить "опасна" родинка или нет. Дайте им свой инструмент, а то ручками все делают)

Но основной вопрос конечно - в каких случаях понадобится такое "исследование", если точность не 99%? В любом случае лучше идти к врачу, иначе никак. Или как это все происходит? Я так понимаю, тут имеет значение, с какой точность врач определит, стоит ли удалять родинку?

Ответить
3

На данный момент мы лишь тестируем такие технологии. Но в дальнейшем можно довести процент правильных определений и до 90%. Будем работать над этим.
Спасибо за Томск. Ссылочку не подскажите на новость?

Ответить
0

Тут скорее для обывателей типа нас с вами. Вот есть у меня пара родинок с рождения или типа того. Они меня не беспокоят вообще, к врачу я конечно не попрусь с ними. Но если бы было какое-то приложение я бы проверил для спокойствия. И вот если бы там мне показало типа 60% вероятность, что это плохо, тогда бы пошел. А так только когда, возможно, будет поздновато.

Ответить
1

Не, погодите, почти 70% у них чего? Того, что они верно определят. То есть они вас посмотрят, скажут что ок, но на самом деле не ок. И так с тремя из десяти. То есть вас ошибочно убедят, что у вас ок.

Ответить
0

В этом то пока и кроется основная проблема. Для повышения точности, необходим большой объем данных. В любом случае даже при 90% правильных определений есть шанс на ошибку. У врачей при первичном осмотре шанс ошибиться около 25%
Совершенно точно сказать рак это или нет может только биопсия.

Ответить
0

Так а какие recall / precision у модели? И вы не думали модель за ложные отрицательные срабатывания штрафовать?

Ответить
0

Мы сейчас сконцентрированы на наращивании дата-сета, расширении исследуемых отклонений в целом. Что бы штрафовать систему за ложные срабатывания, необходимо в штат садить врача-рентгенолога и врача-онколога. Для нас пока это финансово невозможно. Либо необходимо предусмотреть систему, когда врачи сами отмечают ложные срабатывания.
Пока будем думать над этим, но спасибо за наставление на путь истинный)

Ответить
1

Видимо, вы не совсем поняли. Вы же тренируете модель на размеченном датасете? Те для каждой картинки в датасете кто-то уже определил корректный диагноз. При обучении модели всегда присутствует некоторая функция потерь, которую мы пытаемся оптимизировать (найти те параметры модели при которых значение этой функции минимально). Можно сделать так чтобы значение функции потерь было бы больше в случае ложно отрицательного срабатывания чем в случае ложно положительного. Поскольку, кмк, лучше лишний раз отправить пользователя к врачу, чем напрасно успокоить.

Ответить
0

Теперь понял о чем вы. Но к врачу мы отправляем в любом случае. Юристы посоветовали нам делать это всегда)

Ответить
0

Дак а обычный гражданин пока не может воспользоваться вашим сервисом получается?

Ответить
0

Может конечно. Регистрируйтесь и вперед. Если есть андроид телефон - еще проще https://play.google.com/store/apps/details?id=com.era.checkmelanoma

Ответить
2

Очень-очень круто. Удачи, ребят

Ответить
1

Спасибо, будем постараться

Ответить

Комментарий удален

Комментарий удален

Комментарий удален

1

Короче, вчера проверил пару родинок по вашей системе. Показало вероятность 70% что всё плохо. Я обосрался и пошел сегодня к врачу. Всё ок. Как система запугивания - работает отлично. Но как продукт - пока нет.

Ответить
1

Уже результат. Если Вы не против, пришлите пожалуйста фото которое вы загружали на почту eradevelopmentnsk@gmail.ru и мы попробуем провести тесты и разобраться в чем причина такой реакции. Спасибо.

Ответить
1

Ну зато к врачу сходил.

Ответить
1

Поэтому они и пишут, что рекомендуется обратится к врачу в любом случае
Конечно лучше подкрутить алгоритм, что бы он больше ложно положительных срабатываний делал, чем отрицательных.
Если человек, который к врачу не собирался от программы получит диагноз меланома, то вероятность его посещения врача сильно возрастет. А это плюс в карму разработчикам.

Ответить
1

Круто! А мы с экспертом как раз создали и развиваем онлайн-академию для врачей дерматовенерологов, онкологов, косметологов и тд, по обучению дерматоскопии) Не ожидал тут такую статью встретить и тем более, столь полезную разработку! Молодцы!

Ответить
0

Супер! так давайте сотрудничать)

Ответить
0

Да, давайте обменяемся контактами, может действительно сможем чем-нибудь помочь друг-другу!

Ответить
1

Загрузил в сервис фото булочки с изюмом. После нескольких проб и попыток выяснил что чем больше изюма тем больше % меланомы. Например на фото > 50% меланомы. Отнесу как я ее к врачу

Ответить
0

Да, вполне возможно там где-то есть рак.

Ответить
1

Вау, респект. Сейчас загрузим...

Ответить

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

Комментарий удален

0

очень круто, так скоро к врачам перестанем вообще ходить)

Ответить
1

Это будет может не скоро, но именно такой я представляю себе свою старость.

Ответить
0

аналогично, и никаких лишних движений. пожалуй, таким программам стоит доверять больше, чем многим врачам

Ответить
0

Добрый день. Вот наши рекомендации по структуре и оформлению материала на подсайте «Трибуна», обратите на них внимание: https://vc.ru/tribuna/58504 Еще можно добавить несколько скриншотов интерфейса.

Ответить
0

Спасибо, сейчас займусь

Ответить
0

Тут то и родилась идея попробовать обучить нейросеть распознавать меленному по фото.

Ctrl+Enter

Ответить
0

65% верных диагнозов это как? Интересно было бы увидеть оценку true/false positive/negative хотя бы.

Ответить
0

Главное тут это специфичность. Если там не 95+%, то это очень плохо.

Ответить
0

0.7 по какой метрике?

Ответить
0

70% это успех? У меня для вас плохие новости.

Ответить

Комментарий удален

0
{ "page_type": "article" }

Прямой эфир

[ { "id": 1, "label": "100%×150_Branding_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox_method": "createAdaptive", "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfl" } } }, { "id": 2, "label": "1200х400", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfn" } } }, { "id": 3, "label": "240х200 _ТГБ_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fizc" } } }, { "id": 4, "label": "240х200_mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "flbq" } } }, { "id": 5, "label": "300x500_desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "ezfk" } } }, { "id": 6, "label": "1180х250_Interpool_баннер над комментариями_Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "ffyh" } } }, { "id": 7, "label": "Article Footer 100%_desktop_mobile", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjxb" } } }, { "id": 8, "label": "Fullscreen Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjoh" } } }, { "id": 9, "label": "Fullscreen Mobile", "provider": "adfox", "adaptive": [ "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fjog" } } }, { "id": 10, "disable": true, "label": "Native Partner Desktop", "provider": "adfox", "adaptive": [ "desktop", "tablet" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyb" } } }, { "id": 11, "disable": true, "label": "Native Partner Mobile", "provider": "adfox", "adaptive": [ "phone" ], "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "clmf", "p2": "fmyc" } } }, { "id": 12, "label": "Кнопка в шапке", "provider": "adfox", "adaptive": [ "desktop" ], "adfox": { "ownerId": 228129, "params": { "p1": "bscsh", "p2": "fdhx" } } }, { "id": 13, "label": "DM InPage Video PartnerCode", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox_method": "createAdaptive", "adfox": { "ownerId": 228129, "params": { "pp": "h", "ps": "bugf", "p2": "flvn" } } }, { "id": 14, "label": "Yandex context video banner", "provider": "yandex", "yandex": { "block_id": "VI-223676-0", "render_to": "inpage_VI-223676-0-1104503429", "adfox_url": "//ads.adfox.ru/228129/getCode?pp=h&ps=bugf&p2=fpjw&puid1=&puid2=&puid3=&puid4=&puid8=&puid9=&puid10=&puid21=&puid22=&puid31=&puid32=&puid33=&fmt=1&dl={REFERER}&pr=" } }, { "id": 15, "label": "Плашка на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byudx", "p2": "ftjf" } } }, { "id": 16, "label": "Кнопка в шапке мобайл", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "adfox": { "ownerId": 228129, "params": { "p1": "byzqf", "p2": "ftwx" } } }, { "id": 17, "label": "Stratum Desktop", "provider": "adfox", "adaptive": [ "desktop" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvb" } } }, { "id": 18, "label": "Stratum Mobile", "provider": "adfox", "adaptive": [ "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "pp": "g", "ps": "bugf", "p2": "fzvc" } } }, { "id": 19, "label": "Тизер на главной", "provider": "adfox", "adaptive": [ "desktop", "tablet", "phone" ], "auto_reload": true, "adfox": { "ownerId": 228129, "params": { "p1": "cbltd", "p2": "gazs" } } } ]
Хакеры смогли обойти двухфакторную
авторизацию с помощью уговоров
Подписаться на push-уведомления
{ "page_type": "default" }