Maris Kori
По качеству перевода... GPT-4 работает со смыслами, и очень глубоко понимает их. В этом его преимущество. Но сам русский он знает не идеально, и не брезгует англицизмами. В этом минус GPT-4 по сравнению с переводчиками типа Гугла и DeepL, которые специально заточены именно под перевод, - у них получается более литературно, хоть и менее точно. Так что в целом все эти инструменты имеют свои сильные стороны, и их можно комбинировать.
Вы рассматриваете стоимость GPT-4, если пользоваться им через API. Но через официальный UI (20$/мес) при плотном использовании получается примерно в 30 раз дешевле. Конечно, о полной автоматизации там речь не идёт, взаимодействие предполагается в форме диалога, но человек-переводчик там работать может, и вполне комфортно.
Пользоваться телеграм-ботом удобно. Но нет ботов, которые предоставляют настоящий доступ к GPT-4. На это есть 2 причины:
1) Доступ к GPT-4 через API сейчас есть не у всех.
2) Доступ к GPT-4 через API примерно в 30 раз дороже, чем через официальный UI.
Так что в Телеграме сейчас великое множество фейков среди тех, кто заявляет, что предоставляет именно GPT-4.
Сомнительно.
Почти правильно. В целом, качество ответа высокое.
А где тест GPT-4? То, что GPT-3.5 не справился, это предсказуемо.
Даже если это так, то
- первое никому не нужно
- второе как бы очевидно
- третье: по каким критериям измерялось качество? там же не спроста отдельный GPT-4 сделали для кода (Code Interpreter)
Открою большой секрет. Сейчас GPT-4 есть только на официальном сайте. Телеграмм-боты и сайтики используют либо GPT-3.5, либо что-то ещё.
Все, кто утверждают, что у них GPT-4 - врут. Хотя бы просто потому, что это дорого, в 30 раз дороже GPT-3.5, то есть около 50 рублей за ответ. Это не потянет ни один бесплатный (или дешевый) сайтик. Официально же не так дорого - 20$/мес, практически без ограничений.
Невозможно на таких примерах выяснить правду наверняка.
Во-первых, модели становятся умнее. Стоит такому примеру попасть в инет, как разрабы могут его посмотреть и включить в обучение. И если такой тест популярный, то многие пользуются им, и тогда разрабы ВЫНУЖДЕНЫ включить его в обучение. Итого: обе модели отвечают верно.
Во-вторых, как верно замечено в статье, есть такая штука как fine-tuning. Можно дообучить GPT3 отвечать конкретно на этот пример, а также на остальные популярные тесты из поисковика. Итог тот же: GPT3 справится с тестом.
Кое-как можно надеяться на свои собственные тесты. При этом нужно заранее убедиться, что GPT-4 проходит тест, а GPT-3.5 - нет. Но всё равно, модели становятся умнее (ну или глупее), это постоянный процесс, так что даже личный приватный тест рано или поздно устареет.
Кроме этого нужна возможность - как редактировать свои вопросы, так и ответы бота. Как это сделать в Телеге - отдельный вопрос, надо думать. В официальном UI есть почти всё, диалог можно ветвить (аналог сохранения в играх) и возвращаться к старым веткам. Единственное, чего нет на chat.openai.com - так это возможности редактировать ответ бота, поскольку на нем сильно завязано продолжение диалога.