Исследование: человечество неправильно обучает ИИ — большинство моделей не работают в реальном мире

К такому выводу пришли 40 исследователей из Google. Почему за границами лабораторий модели машинного обучения не оправдывают себя — в конспекте материала MIT Technology Review.

Результаты стресс-теста 50 различных моделей машинного обучения при одинаковых условиях
1212

Обычно лучшей моделью (в том числе на практике) является композиция всех этих тестируемых моделей. То есть мотивация "чтобы выбрать лучшую" - весьма спорна.

Описываемая "проблема" и предлагаемое решение с обучением нескольких моделей, это скорее ньюанс/трюк, про который знают и используют не только в гугле. Просто сравните с той же проблемой "недоспецификации" - ImageNet например, внезапно, это хороший датасет по классификации пород собак, и не очень хороший если вам нужна CV модель общего назначения. И тут уже действительно стоит упомянуть что только компании уровня фейсбука могут себе позволить предобучить резнет на миллиардах фото. А тестировать несколько моделей - норма жизни для любого адекватного data scientist.

2
Ответить