Недостатки нейросетей, в частности GPT-3

Я отправлял много запросов в GPT-3 через бота, а еще больше получал скринов от подписчиков. По итогу выявил явные недостатки нейросети от OpenAI.

Недостатки нейросетей, в частности GPT-3

На русском языке - очень дорого

Как известно, OpenAI предоставляет свой трафик (ответы от бота), за токены, которые нужно потом оплачивать настоящими долларами. По ходу общения и получения счетов, а так же анализа длины выдаваемого ответа, я понял:

Стоимость слова на английском равно стоимости одной буквы на русском!

Я погуглил:

Средняя длина русского слова составляет 7,2 символа

А это значит, что общение с нейросетью на русском языке обходится в 7,2 раза дороже, чем на английском!

Отправил в OpenAI заявку на этот счет, вдруг исправят каки-то образом))

На русском языке - сообщения короткие

Сообщения короткие и, иногда, обрезанные. Это связанно с предыдущим пунктом, а так же в гораздо большей наученностью бота английскому языку.

На английском может давать длинные ответы. Почти всегда не обрывает их.
На английском может давать длинные ответы. Почти всегда не обрывает их.

К примеру, в моем боте стоит ограничение на длину сообщения 300 токенов. Это значит, что он отвечает сообщением максимум в 248 слов. Но на русском языке, ответ максимум 248 знаков. Так же он иногда обрезает ответы.

Тут отвечает хорошо, но коротко
Тут отвечает хорошо, но коротко
А иногда бывает так
А иногда бывает так

Но стоит отметить, что за 2 недели активного использования, я заметил, что обрывать фразы он стал гораздо реже!

Выдумывает

Особенно, если не достаточно точно давать задание.

Может рассказывать о каких-то фактах и людях очень убедительно. Но это не правда…

Нейросеть еще учится, поэтому понимает все максимально прямо и не всегда понимает подтекст. Тем более, что в разных языках и культурах по-разному выстраиваются фразы.

Понимает максимально прямо

Недостатки нейросетей, в частности GPT-3

Это опять же из разряда понимания контекста. Многое уже умеет понимать нейросеть, но на фото иной пример.

Когда вы спрашиваете «зачем завязывать шнурки», очевидно, что имеются ввиду шнурки на обуви. Но для нейросети надо пояснение дать.

Не знает реальных фактов некоторых

Нейросеть знает фундаментальную информацию, но еще не может пользоваться внешними, даже открытыми, источниками информации, собрать какую-то статистику. Ссылки, чаще всего присылает пустые, а при запросе фото, отправляет ссылку на поиск гугл или же на кривую фотку.

Недостатки нейросетей, в частности GPT-3
Недостатки нейросетей, в частности GPT-3

Думаю, скоро OpenAI откроют эти возможности для нейросети, ведь это необходимо, чтобы внедрять и монетизировать их разработку.

Русский язык- пишет с ошибками

Чтобы сварить вкусный борщ, вам понадобится 300 г мяса, 2 луковицы, 2-3 морковки, 2 стакана картофеля, чеснок, 1 стакан помидорного соуса, укроп. Начните приготовление, добавив в глубокую сковороду масло и помидорный соус. Когда соус закипит, добавьте мясо нарезав его тонкими полосками. Затем добавьте нарезанные…

Все ок, но иногда на верные предлоги, логика, не подходящие синонимы. Нужно рерайтить)

Стихи - рифму не очень делает

Недостатки нейросетей, в частности GPT-3

Живет в 2021

Это самое интересное. Причем модели можно внушить, что сейчас 2023, но позже она об этом забудет.

Недостатки нейросетей, в частности GPT-3

И информацию он знает только до 2021.

Несмотря на эти проблемы, видно, как большинство из них прямо на глазах сходят на нет. А нейросети захватывают все больше инфопостранства).

Есть вопросы? Пишите мне:

Выкладываю статьи VC и то, чего нет в VC. Мысли, идеи, опыт.

55
10 комментариев

Прикольная и подробная статейка, прочитал на одной дыхании

1
Ответить

Спасибо !)

Ответить

На перевод также расходуются токены

Ответить

Чтобы чат помнил контекст , всю истории переписки нужно также передавать. В простых ботах через телегу она не передается

Ответить

Можно ли технически это организовать в телеграм боте, не знаете?

Ответить

Какую он знает информацию, если он врет? Он даже википедию не читал.

Это имитация человеческой речи. Нанизывает слова как бусины только лишь для того чтобы выглядело правдоподобно.

Ответить

Искусственный интеллект прошел тест и получил оценку "неудовлетворительно".

Когда ему спросили, почему, он ответил: "Я знаю ответы, но не знаю, как они связаны с вопросами".

Ответить