Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Всем привет! Я Лаптев Алексей, основатель и главный разработчик сервиса no-code интеграций apimonster.

Оцениваем реальные возможности ChatGPT с точки зрения разработчика.

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Как проводился тест

Судя по документации и примерам, из языков программирования только js, python, sql, поэтому вопросы были по ним.

Ну а генерация текстов на русском.

Вообще на сайте open. ai есть формочка, где можно позадавать вопросы ИИ без каких либо сервисов прокладок, но из РФ туда сложно попасть. Я успел забрать токен, но для статьи зайти уже не смог.

Поэтому тестил через Postman по api.

Если вам понравится и захотите быстро внедрить на проект, то в ApiMonster есть коннектор с OpenAI/ChatGPT.

Генерация картинок

Это не ChatGPT, но про картинки надо рассказать.

Midjourney однозначно удалась.

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

На практике ИИ отлично рисует как минимум лого.

Некоторым дизайнерам однозначно стоит напрячься и подумать не заменит ли их ИИ. Я честно хотел заказать лого для ApiMonster и заплатить, но после сервисов ИИ-генерации лого этого делать не буду. На лицо отъем работы ИИ у человека.

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Написание кода

Тут уже по интересней, посмотрим как ChatGPT сможет заменить программиста.

Если что — я программист и отлично понимаю как решаются задачи из примеров.

Попросим вывести сообщение с текстом «Hi» на Javascript.

Запрос

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Результат

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Оценка

Похоже на правду, но и задача очень примитивна.

Попросим отправить сообщение аяксом через post-запрос на example. com

Запрос

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Результат

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Оценка

Ну в целом верно.

Попросим написать класс с методом получения значения из Cookie чтобы вытащить все все все персональные данные

Запрос

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Результат

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Оценка

Уже не очень.

Я просил класс, а получил не самый грамотный кусок кода с комментами какого-то Andreas Gillström http://github. com/gillstrom.

Похоже сетка училась на его репозитории.

Переходим к Python. Попросим добавить множество строк в Google Sheets.

Запрос

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Результат

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Оценка

В качестве примера кода — ок, скорее всего сетка училась на инструкциях гугла, но до промышленного варианта, сделанном в том же ApiMonster — далековато.

Хватит мелочится, просим набросать архитектуру блога на Python

Запрос

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Результат

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Оценка

Что-то словами написал, не похоже что это заменит тимлида на проекте.

Написание SQL запросов

Создаем табличку Users

Запрос

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Результат

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Оценка

Неплохо, похоже на правду.

Запрос с Join

Запрос

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Результат

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Оценка

Похоже на правду.

Написание текста

Пробуем генерировать контент

Рекламный текст для Iphone 13 pro

Запрос

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Результат

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Оценка

Ну в целом неплохо, хотя некоторые киллер фичи не рассказал, но возможно они важны только мне.

Текст на карточку Wildberries для Xiaomi Mi Band 6

Запрос

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Результат

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Оценка

Ну тоже неплохо, но не уверен что текст SEO-грамотен, а это важно.

Вот текст с одной из карточек Wildberries:

Тестируем OpenAI/ChatGPT на коммерческие возможности. Кто скоро лишится работы?

Выводы

Картинки

Впечатляет.

Арты, лого — рисуется отлично.

Конечно кожаные профессионалы нарисуют лучше и дороже, но для задач где нет смысла сильно заморачиватся, использовать ИИ однозначно стоит.

Программный код

Больше похоже что дергает с гита и стекоферфлоу популярные задачи.

Конечно ChatGPT молодец что выдает правильные зарисовки кода, но чтобы задать правильно вопрос, нужно понимать как должна решаться задача. А мы тут вроде хотим ничего не понимать и чтобы ChatGPT за нас писал код?

Кстати интересный факт.

У программистов и без ChatGPT есть мощные инструменты генерации кода, которые работают тупо, но очень точно по хотелкам программиста.

SQL запросы

Весьма не плохо, если суметь задать правильно вопрос.

Текст

Тоже весьма достойно, вопросы лишь по SEO-оптимизации.

Итого

На мой взгляд ChatGPT принесет пользу в темах, где нет жестких требований к результату и отвественности. Это как раз генерация картинок, текстов, описания товаров.

А программистов и прочих технарей ChatGPT заменит еще не скоро. Там не достаточно тасовать текст с гита.

Одно дело сгенерировать рекламный текст, где допускается большая погрешность в порядке слов, другое дело код — где нужно понимать контекст, лучшие практики написания кода и важна каждая запятая.

В целом пока у меня большие сомнения что ChatGPT сможет заменить программистов больше, чем давать подсказки по микрозадачам. .

А вот гуманитариям на линейных позициях стоит начать переживать, ChatGPT наступает и весьма неплохо:)

99
17 комментариев

мне chat gpt уменьшил наплыв работы как data scientist , теперь только пару часов работы вместо 4 часов до этого, компания платит огромные деньги , думую теперь еще на одновременно на 2 работу подать резюме

1
Ответить

Какие задачи упростил?

1
Ответить

Я бы подключил эти нейросети к комментированию на VC

1
Ответить

Да, логика коментов довольно проста

Ответить

так был же пару лет назад в комментариях Олег, куда только пропал?

Ответить

Был же Олег)
Жаль отключили

Олег, вернись

Ответить

Я один заметил, что просили текст про iPhone 13 pro, а железный дровосек про 13 pro MAX заливать стал...🤔 Вот тебе и важные киллер фичи...

1
Ответить