Заменит ли аналитиков искусственный интеллект?

Иногда кажется, что ИИ может все, и даже больше (что так и есть). Вот уже легко превосходит нас не только в решении задач международной математической олимпиады, но и в креативности (которая считалась прерогативой человека), не говоря уже про умение переубеждать. А что с диаграммами и таблицами? Вопрос, как выяснилось, не праздный.

** Еще больше интересного в моем канале продуктовые штучки**

О чем речь?

Исследователи из китайского университета Чжэцзян "скормили" нейронке 11 193 абстрактных изображений, охватывающих восемь видов данных:

  • дашборды
  • дорожные карты (планы развития проекта)
  • диаграммы
  • таблицы
  • блок-схемы
  • графики взаимосвязей
  • визуальные головоломки
  • двумерные планы помещений

Что получилось?

Спойлер: и тут выясняется, что при анализе простых диаграмм ИИ превращается буквально в ребенка!

Даже такие продвинутые модели, как GPT-4o и Claude 3.5 Sonnet достигли точности только в 64,7% и 59,9% соответственно (ср.человеческий показатель - 82,1%).

Модели с открытым исходным кодом (считается, что они более слабые по качеству) показали себя еще хуже, особенно в задачах интерпретации визуального контента. В то время как закрытые модели, такие как Claude 3.5 Sonnet, достигли точности до 62% при тестировании дорожной карты и визуальных головоломок, модели с открытым исходным кодом показали результаты ниже 20%.

Задачи на визуальный контент, которые давались ChatGPT. <a href="https://api.vc.ru/v2.8/redirect?to=https%3A%2F%2Fthe-decoder.com%2Fstudy-reveals-major-weaknesses-in-ais-ability-to-understand-diagrams-and-abstract-visuals%2F&postId=1356931" rel="nofollow noreferrer noopener" target="_blank">Источник<br /></a>
Задачи на визуальный контент, которые давались ChatGPT. Источник

О чем это говорит?

Только о том, что у моделей пока “не дошли руки” до таких задач. Нейросети специально не тренировали на этот тип задач.

Абстрактный и визуальный контент точно не являются чем-то неприступным для них. Так, ИИ способен читать медицинские снимки и ставить диагноз.
Уж если ИИ завоевывает медали на математической олимпиаде и изобретают новые белки и лекарства, эта задача точно по зубам!

Нейросеть (как и человека) нужно натренировать: показать задачи, рассказать алгоритм решения и показать правильные и неправильные решения.

Неслучайно на сложные математические и биологические задачи создают самостоятельные модели. Так, у Google есть AlphaGeometry - модель для математических задач, а AlphaFold3 - для биологических. А у Microsoft есть насколько специаизированных медицинских ИИ моделей: BiomedParse — ИИ-модель для анализа медицинских изображений, и GigaPath — модель для патологий.А в медицинских данных расшифровка изображений и таблиц — важная часть анализа данных и постановки диагноза, с которой ИИ справляется не хуже человека.

Как только появится необходимость, модели резко “поумнеют”, и начнут как орешки щелкать диаграммы и головоломки.

Пожалуйста, поддержите меня, поставьте лайк!

44
9 комментариев

Рядовых и стандартных - вполне заменит, профессионалов - вряд ли

я много читаю в последнее время статьей от разных специалистов о том что нет, нас не заменят, НИКОГДА НИКОГДА, но воспринимается это все как крик отчаяния и отрицание действительности