Этот пост посвящен конкретной статье, которая называется «Why AI is Harder Than We Think» («Почему ИИ сложнее, чем мы думаем»). Она про то, как исследователи делали чересчур оптимистичные предсказания и к чему все это привело.
В статье последовательно описаны четыре заблуждения:
(я недавно у себя в телеграме писала про деградацию глубоких нейросетей, например
Неверная формулировка. Деградации нет, глубокие сети вполне себе развиваются. ResNet появились как проверка гипотезы - "насколько глубокими могут быть глубокие сети", и для метода борьбы с "затуханием градиентов ".
Термин "деградация" не связан в данном случае с развитием. Речь идет об увеличении ошибки, не связанном с переобучением. Отсылаю к посту в телеграме)