Пример использования ChatGPT для написания кода

ChatGPT стал предметом обсуждения уже весьма давно и материалов на эту тему в Интернете есть бесконечное множество. Однако он так прекрасен и многогранен, что всегда можно написать по меньшей мере еще один материал и инициировать еще одно обсуждение, чем мы сейчас и займемся.
Я занимаюсь анализом данных и разработкой ПО, и с начала этого года ChatGPT стал моим верным помощником. Раньше как-то руки не доходили протестировать гениальную нейросеть на предмет способности решать повседневные программерские задачи, но как дошли, так жизнь сразу стала веселее.
Цель этого поста – показать часть возможностей ChatGPT в области работы с кодом и поделиться своими удачными промптами (и узнать про ваши удачные промпты и опыт, конечно же). Здесь описан небольшой и скорее «игрушечный» проект, который не должен был быть очень масштабным и сложным, но позволил охватить следующие важные задачи:
• дебаггинг (исправление ошибок в коде);
• написание кода по инструкции;
• создание текстового резюме к выполненной работе (в меньшей степени).
Полный чат можно прочитать здесь, а блокнот с кодом можно найти здесь (Crocodiles.ipynb).

Итак, у нас есть цель: найти в Википедии всю информацию о крокодилах, какая только там есть (от среды обитания до способов приготовления). Это задача в широком смысле относится к области обработки естественного языка. Она будет включать в себя следующие задачи:
• сбор данных (переход по ссылкам в Википедии, чтение и обработка статей);
• определение релевантности (соответствия текста статьи заявленной теме);
• сохранение статей, относящихся к теме поиска.
И еще важное ограничение: я не пишу ни единой строчки кода самостоятельно, только инструктирую GhatGPT. Поехали.

Для начала опишем роль, которую играет GhatGPT, и общую канву задачи (немного позднее я буду описывать каждый шаг по отдельности, поэтому, возможно, описание задачи в самом начале можно было опустить).

Роль GhatGPT – специалист по обработке естественного языка (по специальности работает). Формальное описание задачи: мы начинаем со страницы «Крокодилы» и последовательно проходим по всем ссылкам, содержащимся на ней. Если статья по ссылке релевантная (про крокодилов), мы ее сохраняем и собираем ссылки с этой страницы. Если статья нерелевантная, пропускаем страницу и идем дальше. И так пока не выгребем всю Википедию (или не достигнем заранее установленного лимита, но об этом попозже).

Релевантность – это степень соответствия текста статьи поисковому запросу. Она измеряется разными способами, но в нашем случае будет бинарной: статья либо соответствует запросу, либо нет, без полутонов.
Кроме того, во имя упрощения нашей работы (и непревращения этого поста в трехтомное собрание сочинений) мы будем определять релевантность с помощью наличия или отсутствия в статье некоторого набора терминов, относящегося к крокодилам. Набор терминов попросим сгенерировать GhatGPT.
Первый подход к генерации списка слов получился так себе: ассистент слишком буквально понял озвученную ранее постановку и наряду с терминами «Crocodile», «Alligator» и «Gharial» («крокодил», «аллигатор», «гавиал») предложил «Rivers» и «Poaching» («реки», «браконьерство»), то есть, термины, запрос по которым мог бы вернуть статьи про любых других животных, что нам не нужно. Кроме того, он предложил множество дублирующих терминов, например, «Crocodile leather» и «Crocodile anatomy» – «крокодиловая кожа» и «анатомия крокодилов». Несложно понять, что выдача по обоим словосочетаниям полностью входит в выдачу по слову «крокодил».

Просьбу удалить дублирующие термины и термины, которые могут относиться не только к крокодилам, GhatGPT не понял, поэтому было решено выражаться проще.

И еще проще.

В конце концов мы остановились на следующем списке:
• "Crocodile",
• "Crocodylidae",
• "Crocodylus",
• "Alligator",
• "Caiman",
• "Gharial",
• "Crocodilian".
В целом, пойдет, можно двигаться дальше.

В качестве метрики релевантности GhatGPT предлагает TF-IDF. Это не самый новый и не самый эффективный инструмент из всех доступных, но нам вполне подходит. Не дожидаясь просьб, старательный ассистент сразу предлагает код:

На первом шаге (подготовка текста) предлагается только убрать знаки пунктуации и разбить текст пословно. Поскольку мы имеем дело со статьями из Википедии, то есть, веб-страницами, нам нужно будет удалить html-теги. Затем необходимо убрать стоп-слова (те, которые встречаются часто, но не несут особого смысла, например, предлоги) и привести все слова к единой форме (например, слова «крокодилы» и «крокодиловый» к форме «крокодил») – для англоязычного текста достаточно будет стемминга. Тот же набор преобразований надо применить к нашему списку ключевых слов (в данном случае – только стемминг и перевод всех слов в нижний регистр). Все эти преобразования описываем текстом и получаем усовершенствованную функцию:

Следующий этап – все-таки реализовать TF-IDF, потому что предложить он предложил, а считать потом решил число вхождений терминов, что совсем примитивно.
Запрос в данном случае простой: «Замени свою метрику релевантности на TF-IDF».

Помимо функций ChatGPT любезно предлагает пример для проверки их работы:

Воспользуемся им и получим результат «Статья нерелевантна», что очевидно не так. Ну и отлично, мы же хотим разобрать дебаггинг!

Исправление происходит в несколько этапов (все как у людей). На каждом этапе ChatGPT предполагает, что могло пойти не так, и дополняет код командами для вывода результатов (print). Приведение скриншотов нашей переписки, в которой все работает правильно по отдельности, но в совокупности не работает, сделает этот пост слишком длинным, поэтому опустим их. Вы можете обратиться к чату и прочитать часть, посвященную дебаггингу, самостоятельно. Она начинается вот отсюда:

Если коротко, решением стало добавление параметра «token_pattern» в функцию расчета TF-IDF. Это позволило совместить, наконец, текст статьи с ключевыми словами из списка и получить ожидаемый результат (сгенерированная статья релевантна запросу).
Последний шаг – написание функции для обхода Википедии.

Первая попытка провалилась в бесконечный цикл, потому что ChatGPT забыл пометить те ссылки, по которым уже ходил. Кроме того, он начал обходить ссылки, которые относятся не к статьям, а к элементам навигации. Еще буквально два шага с указанием на недочеты – и у нас в кармане готовые функции.

В результате получился вот такой список из десяти статей:
• 'https://en.wikipedia.org/wiki/Crocodile';
• 'https://en.wikipedia.org/wiki/Crocodile_(disambiguation)';
• 'https://en.wikipedia.org/wiki/Eocene';
• 'https://en.wikipedia.org/wiki/Holocene';
• 'https://en.wikipedia.org/wiki/Triassic';
• 'https://en.wikipedia.org/wiki/Jurassic';
• 'https://en.wikipedia.org/wiki/Cretaceous';
• 'https://en.wikipedia.org/wiki/Neogene';
• 'https://en.wikipedia.org/wiki/Nile_crocodile';
• 'https://en.wikipedia.org/wiki/Saltwater_crocodile'.
Совсем недурно для пары часов работы, как по мне. Если вам захочется поэкспериментировать с чем-то кроме крокодилов, вы знаете, что делать.

В конце ChatGPT продемонстрировал свои способности к описанию проделанной работы.

Я иногда вручаю ему свой код, чтобы он мне написал такое заключение, потому что экспериментировать и писать функции мне весело, а потом описывать все это – нет. Эти описания, откровенно говоря, пока получаются поверхностными и неидеальными, но поправить готовый текст все равно проще, чем свой написать с нуля (вот этот пост я честно собственными руками пишу с нуля!).

Современные проблемы требуют современных решений. ChatGPT – это только один из инструментов, который может программистам (и не только) работать быстрее; описание всех доступных инструментов потребовало бы написать целую книгу. Опережая вопрос «А что вы будете делать, когда ИИ заберет у вас вашу работу?» – писать блог, конечно же!
Поделитесь в комментариях своим опытом использования ChatGPT для рабочих задач. Есть ли у вас особенно удачные промпты или наблюдения относительно того, как их лучше всего писать? (Кстати, про рекомендации относительно того, как писать хороший промпт, я тоже пишу пост, и если кто поделится своим опытом, мне это поможет).