Всем привет! Я Лаптев Алексей, основатель и главный разработчик сервиса no-code интеграций apimonster.
Оцениваем реальные возможности ChatGPT с точки зрения разработчика.
Как проводился тест
Судя по документации и примерам, из языков программирования только js, python, sql, поэтому вопросы были по ним.
Ну а генерация текстов на русском.
Вообще на сайте open. ai есть формочка, где можно позадавать вопросы ИИ без каких либо сервисов прокладок, но из РФ туда сложно попасть. Я успел забрать токен, но для статьи зайти уже не смог.
Поэтому тестил через Postman по api.
Если вам понравится и захотите быстро внедрить на проект, то в ApiMonster есть коннектор с OpenAI/ChatGPT.
Генерация картинок
Это не ChatGPT, но про картинки надо рассказать.
Midjourney однозначно удалась.
На практике ИИ отлично рисует как минимум лого.
Некоторым дизайнерам однозначно стоит напрячься и подумать не заменит ли их ИИ. Я честно хотел заказать лого для ApiMonster и заплатить, но после сервисов ИИ-генерации лого этого делать не буду. На лицо отъем работы ИИ у человека.
Написание кода
Тут уже по интересней, посмотрим как ChatGPT сможет заменить программиста.
Если что — я программист и отлично понимаю как решаются задачи из примеров.
Попросим вывести сообщение с текстом «Hi» на Javascript.
Запрос
Результат
Оценка
Похоже на правду, но и задача очень примитивна.
Попросим отправить сообщение аяксом через post-запрос на example. com
Запрос
Результат
Оценка
Ну в целом верно.
Попросим написать класс с методом получения значения из Cookie чтобы вытащить все все все персональные данные
Запрос
Результат
Оценка
Уже не очень.
Я просил класс, а получил не самый грамотный кусок кода с комментами какого-то Andreas Gillström http://github. com/gillstrom.
Похоже сетка училась на его репозитории.
Переходим к Python. Попросим добавить множество строк в Google Sheets.
Запрос
Результат
Оценка
В качестве примера кода — ок, скорее всего сетка училась на инструкциях гугла, но до промышленного варианта, сделанном в том же ApiMonster — далековато.
Хватит мелочится, просим набросать архитектуру блога на Python
Запрос
Результат
Оценка
Что-то словами написал, не похоже что это заменит тимлида на проекте.
Написание SQL запросов
Создаем табличку Users
Запрос
Результат
Оценка
Неплохо, похоже на правду.
Запрос с Join
Запрос
Результат
Оценка
Похоже на правду.
Написание текста
Пробуем генерировать контент
Рекламный текст для Iphone 13 pro
Запрос
Результат
Оценка
Ну в целом неплохо, хотя некоторые киллер фичи не рассказал, но возможно они важны только мне.
Текст на карточку Wildberries для Xiaomi Mi Band 6
Запрос
Результат
Оценка
Ну тоже неплохо, но не уверен что текст SEO-грамотен, а это важно.
Вот текст с одной из карточек Wildberries:
Выводы
Картинки
Впечатляет.
Арты, лого — рисуется отлично.
Конечно кожаные профессионалы нарисуют лучше и дороже, но для задач где нет смысла сильно заморачиватся, использовать ИИ однозначно стоит.
Программный код
Больше похоже что дергает с гита и стекоферфлоу популярные задачи.
Конечно ChatGPT молодец что выдает правильные зарисовки кода, но чтобы задать правильно вопрос, нужно понимать как должна решаться задача. А мы тут вроде хотим ничего не понимать и чтобы ChatGPT за нас писал код?
Кстати интересный факт.
У программистов и без ChatGPT есть мощные инструменты генерации кода, которые работают тупо, но очень точно по хотелкам программиста.
SQL запросы
Весьма не плохо, если суметь задать правильно вопрос.
Текст
Тоже весьма достойно, вопросы лишь по SEO-оптимизации.
Итого
На мой взгляд ChatGPT принесет пользу в темах, где нет жестких требований к результату и отвественности. Это как раз генерация картинок, текстов, описания товаров.
А программистов и прочих технарей ChatGPT заменит еще не скоро. Там не достаточно тасовать текст с гита.
Одно дело сгенерировать рекламный текст, где допускается большая погрешность в порядке слов, другое дело код — где нужно понимать контекст, лучшие практики написания кода и важна каждая запятая.
В целом пока у меня большие сомнения что ChatGPT сможет заменить программистов больше, чем давать подсказки по микрозадачам. .
А вот гуманитариям на линейных позициях стоит начать переживать, ChatGPT наступает и весьма неплохо:)
мне chat gpt уменьшил наплыв работы как data scientist , теперь только пару часов работы вместо 4 часов до этого, компания платит огромные деньги , думую теперь еще на одновременно на 2 работу подать резюме
Какие задачи упростил?
может это конъюнктурная шутка такая
data science stuff, тебе интересно?
Я бы подключил эти нейросети к комментированию на VC
Да, логика коментов довольно проста
так был же пару лет назад в комментариях Олег, куда только пропал?
Был же Олег)
Жаль отключили
Олег, вернись
Я один заметил, что просили текст про iPhone 13 pro, а железный дровосек про 13 pro MAX заливать стал...🤔 Вот тебе и важные киллер фичи...
Комментарий недоступен
патаму шта chat gpt это хайп а да винчи не хайп
Автор пиздит и не краснеет ))
Я скачаю статью...
Настройки из документации
Интересно
разве ChatGPT может рисовать логотипы?
нет, там написано "Это не ChatGPT, но про картинки надо рассказать."
Добавлено для общего понимания возможностей "ИИ" для коммерческого использования.
разве робот напишет симфонию? (с)
вроде как из 2004го .. а сейчас уже и не смешно, картину точно нарисует, я думаю скоро и до музыки дойдет. Там правил не так много
Многое очень зависит от формулировки промпта. На своей практике заметил, что чем точнее формулируешь задачу, тем лучше результат.
С тем же Вилдберриес было бы правильно сделать так - вначале попросить подобрать ключевые слова и синонимы для товара, потом результаты этого запроса добавить в запрос на создание текста. И тогда бы описание получилось бы с нужными словами.