Codeium и StarCoder: нейросети с автодополнением кода

На связи Илья Котов и Марина Коробова.

В мире технологий происходит настоящая революция. На передовом фронте этой революции стоят нейронные сети — мощные и удивительные инструменты искусственного интеллекта, которые сегодня изменяют наше представление о возможностях компьютеров. Нейросети обрели невероятную популярность и применение в различных областях: от компьютерного зрения до естественного языка, и их влияние на общество и технологический прогресс становится все более заметным.

Мы познакомим вас с двумя моделями-помощниками с автодополнением кода: StarCoder и Codeium. Для демонстрации работы AI-плагинов используем запросы, которые часто возникают в нашей работе. Подробнее о них расскажем ниже.

Большие языковые модели (LLMs, Large Language Models) представляют собой сложные нейронные сети, обученные на огромных объемах данных и предназначенные для обработки естественного языка. В зависимости от цели LLM можно обучить на специализированном наборе данных и применить для решения различных задач, например, распознавание именованных сущностей (NER), синтез текста в речь (text2speech), анализ тональности текста (SA) и другие.

Мы рассмотрим задачу генерации кода — LLMs for Code.

Данный тип моделей обучается не только на терабайтах репозиториев кода, но и на комментариях, документациях по продуктам, а также данных с технических форумов и платформ для кодирования.

Существует огромное количество моделей, целью которых является автодополнение скрипта, откладка, рефакторинг, перевод кода на другой язык и другие.

Рассмотрим две нейронные сети: StarCoder и Codeium. Эти модели были выбраны не просто так, они интересны нам по нескольким причинам:

· область решаемых задач:

o ускорение: автозаполнение кода;

o исследование: генерация кода по комментарию на естественном языке;

· поддерживаемый язык: Python;

· наличие расширения в IDE Visual Studio Code;

· открытый доступ (Open Source), бесплатный (free price);

· модели умеют работать с русским языком;

· дата выхода:

o StarCoder – май 2023;

o Codeium – октябрь 2022, но популярной модель стала весной 2023 года.

Starcoder – это большая языковая модель с не менее чем 15,5 миллиардами параметров, разработанная в сотрудничестве компаний Hugging Face и ServiceNow. Модель демонстрирует свою способность автоматически исправлять код, генерировать его по текстовому запросу и переводить с одного языка программирования на другой.

StarCoder превосходит самые масштабные модели, такие как PaLM, LaMDA и LLaMA, и это при том, что она заметно компактнее. Она также опережает модель CodeGen-16B-Mono и представителя OpenAI code-cushman-001.

Несомненным преимуществом StarCoder является его способность определить, был ли сгенерированный код заимствован из обучающего датасета (Stack) или же представляет собой уникальный скрипт. Это ценное решение распространенной проблемы, с которой сталкиваются разработчики при использовании масштабных языковых моделей для генерации кода, и оно способствует сохранению авторских прав и происхождения кода. Подробнее об этом можно ознакомиться по ссылке: https://arxiv.org/abs/2303.03919.

Codeium – это набор инструментов для автодополнения кода, разработанный командой Exafunction. Модель использует технологию генеративного искусственного интеллекта для прогнозирования и предложения следующих строк кода на основе контекста и синтаксиса.

Рассматриваемая нейросеть не уступает в производительности таким моделям, как Copilot, Tabnine, Replit Ghostwriter и другие. Согласно последнему опросу разработчиков StackOverflow Codeium и Copilot являются двумя наиболее востребованными инструментами для кодирования AI.

Наиболее значимым преимуществом Codeium является система поиска контекста – context aware everything. Данная система решает сразу несколько проблем: одновременный анализ естественного языка и языка программирования с помощью docstrings, фрагментация контекста в зависимости от вопроса и гибридный поиск редких сущностей. Подробнее с этими функциями можно ознакомиться на сайте продукта.

Все практические примеры были реализованы в среде разработки Visual Studio Code.

Были установлены два расширения:

· Codeium: https://marketplace.visualstudio.com/items?itemName=Codeium.codeium

· Starcoder: https://marketplace.visualstudio.com/items?itemName=HuggingFace.huggingface-vscode

В процессе работы были сформированы отдельные проекты для каждой решаемой задачи. Расширения не должны работать одновременно во избежание конфликтов: пока одна нейросеть генерирует код, вторая нейросеть должна быть отключена.

В ходе формирования запроса мы пытались дать некоторый контекст для того, чтобы нейросеть генерировала скрипт на основе именно наших данных, а не использовала части кода из обучающего набора.

В следующих примерах мы рассмотрим некоторые типовые задачи, с которыми сталкивается аналитик:

1. Часто данные выгружаются в неудобном для чтения виде (например, в формате json-файлов) и для дальнейшего анализа необходимо привести информацию в табличный формат.

Можно заметить, что обе нейросети сгенерировали одинаковый рабочий скрипт.

2. В ходе проведения проверок аналитик пишет необходимые отчеты и заключения, в которых содержится ключевая информация. Эти сведения, например, можно получить простым подсчетом количества клиентов или продуктов с заданными характеристиками, так и более сложными способами.

Стоит отметить, что csv-файл был импортирован в папку со скриптом, но название колонок нигде не упоминалось ранее. Сначала нам показалось, что AI-плагины прочли названия столбцов, сопоставили

с запросом и вывели необходимый код, но в ходе дальнейших запросов было замечено, что это была просто удача перевода и вероятнее всего нейросеть не «читает» соседние файлы в директории.

3. Иногда для быстрой проверки своей гипотезы аналитику необходимо получить заданный фрагмент текста, например, дату, номер договора или email. Это можно осуществить, используя регулярные выражения.

Обе нейросети справились с поставленной задачей. Стоит отметить, что Starcoder сам продолжил написание приведенных комментариев.

4. Некоторые аналитики работают с отзывами клиентов или комментариями сотрудников, и для ускорения проводимого анализа необходимы навыки в обработке естественного языка (NLP). Одним из этапов в этой работе является предварительная обработка текста, которая заключается в очистке текста от пунктуации, удалении стоп-слов, токенизации, лемматизации и др.

Как можно заметить, Starcoder справился с задачей. В свою очередь Codeium выбрал путь последовательной замены только некоторых знаков препинания, например, в нашем примере тире «–» останется в предложении.

5. Представим, что мы уже выполнили предварительную обработку текста и даже векторизовали его, следующим этапом является обучение модели.

Модели успешно разработали базовую модель машинного обучения.

6. Часто аналитикам необходимо импортировать информацию из базы данных. Рассмотрим пример подключения к СУБД, встроенной в Python.

Обе нейросети справились с поставленной задачей.

7. Подробнее остановимся на базах данных. Для качественной и эффективной аналитики требуется выполнять SQL-запросы. Поэкспериментируем и дадим нейронным сетям запросы с разным типом сложности:

○ Легкий уровень

Как мы можем видеть, сгенерированные запросы верные.

○ Средний уровень

Codeium не справился с поставленной задачей. В свою очередь Starcoder сгенерировал вполне рабочий код.

8. Одной из задач аналитика является визуализация представленных данных.

○ Рассмотрим простейший пример.

Обе нейросети справились с задачей.

Немного усложним

Как вы можете увидеть, изначально Starcoder использовал другую функцию — polyfit — для подсчета коэффициентов прямой, но в ходе дополнительных экспериментов данная модель выдала необходимый код. Стоит отметить, что комментарий «с помощью функции linregress» нейросеть сгенерировала сама.

Codeium выдал необходимый код сразу же.

Если сравнить данные решения по визуальной составляющей, то Starcoder справился лучше: модель добавила легенду и цвет.

9. В связи с быстрым увеличением объема информации были разработаны новые технологии для обработки и анализа этих данных. Многие крупные компании применяют фреймворк Apache Spark для выполнения распределенной обработки, и мы не стали исключением – мои коллеги ежедневно используют PySpark в своей работе.

Codeium и Starcoder сгенерировали корректный код: наша spark-сессия запустила.

10. Попробуем усложнить задачу и предоставим возможность нейросетям самим генерировать запросы.

Как мы можем видеть, нейронные сети не всегда генерируют правильный и оптимизированный код, поэтому до роли аналитика им ещё далеко.

Также стоит отметить, что авторы все ещё ставят под вопрос как наличие, так и отсутствие возможности у нейронных сетей использовать соседние файлы. В ходе написания запросов возникали моменты, когда одна модель какое-то время не могла сгенерировать код, а после выдавала идентичный тому, который сгенерировала другая модель. Но как мы уже говорили, все скрипты выполнялись в отдельных проектах, которые лежали в отдельных папках.

Подведём итоги в сравнительной таблице:

Оценка моделей.

Данная оценка очень поверхностная, задачи различаются по своей сложности, и правильнее было бы проставить веса для каждого запроса. Но нашей главной целью было узнать, способны ли данные модели корректно генерировать код или нет, поэтому оценка проводилаcь по количеству верно сгенерированных запросов.

Оба инструмента частично справились с поставленными задачами. Если в вашем проекте необходимо сгенерировать код по комментарию, то рекомендуем использовать Starcoder, однако если ваша задача заключается в автодополнении кода, то Codeium справляется с этим лучше.

Стоит помнить, что это нейросети, и они могут галлюцинировать, то есть придумывать код с ошибками. Каждый пользователь должен самостоятельно проверять сгенерированный скрипт и применять его с осторожностью, ведь нет никаких гарантий, что код будет рабочий и безопасный.