«В 80% случаев предлагает правильный код, но боюсь отупеть с ним»: первые впечатления от ИИ-сервиса Copilot

Одни разработчики говорят, что сервис облегчает рутину, другие — что он часто предлагает много лишнего.

«В 80% случаев предлагает правильный код, но боюсь отупеть с ним»: первые впечатления от ИИ-сервиса Copilot

22 июня GitHub открыла доступ к «напарнику программистов» Copilot всем разработчикам — подписка стоит $10 в месяц или $100 в год. У сервиса есть пробный период в 60 дней. Бесплатная версия будет доступна студентам с пакетом GitHub Student Developer Pack и разработчикам популярных opensource-проектов на GitHub.

Что говорят о сервисе пользователи.

Потестил две недели как была возможность и могу сказать, что для однотипных и простых вещей довольно неплохо заходит, особенно если нужно написать кучу юнит-тестов или что-то тривиальное.

Но как только речь заходит о чем-то сложно и специфичном, начинаются подсказки какой-то дичи, поскольку нет контекста и требований. Порой подсказывает что-то совершенно уродливое, что приходится рефакторить сразу же, иначе на ревью тебя покроют ласковыми словами. Порой предлагаемое решение является наихудшим из возможных в плане оптимизации.

Memento Vivere, пользователь vc.ru
Меня никто не предупреждал, что Github Copilot может автодополнять и Markdown-документацию, причём в том числе и на русском.

Ну что я могу сказать, эта штука уже знает всё, что необходимо знать программисту.
«В 80% случаев предлагает правильный код, но боюсь отупеть с ним»: первые впечатления от ИИ-сервиса Copilot

Пробовал около месяца на нем писать. Неплохо для новичков, хорошо помогает накидать код. К большому сожалению приходится много после него редактировать и упрощать. Но на старте на коленке быстро накидать приблизительное направление — отличное решение, если понимаешь, что 80% придется в дальнейшем выкинуть. Короче, для старта — инструмент must have.

Kirill Muchow, пользователь vc.ru

Неожиданно в конце марта мне открыли доступ. Потестил. В принципе основной вывод — удобно как добавление еще одного монитора, когда у вас уже есть два. Из суперудобств — хорошо писать юнит-тесты, для меня они скучны, а тут прямо абзацами кидает.
И средних удобств — неплохо двигает идеи, когда не знаешь, с чего начать. Использует код твоего проекта — подставляет чаще примерно правильные константы и выражения.
Из неудобств — иногда бесит удалять, что он пишет тебе, удаляешь, а он опять это же вписывает. Но, видимо, баг.
В общем, удобно, помогает немного избавиться от рутины, но программиста не заменит.

Vlad Dx18gzn36, пользователь vc.ru
@varjmes I’m my experience the speed of actually writing code rarely matters and good devs spend more time e.g. collaborating with designers, and a tool like copilot can’t auto-fill domain specific code which is most code people touch in their everyday work
По моему опыту, скорость написания кода редко когда важна. Хорошие разработчики проводят больше времени на совместную работу с дизайнерами, а инструмент вроде Copilot не сможет написать специфичный для конкретной области код, с которым люди чаще всего сталкиваются в повседневной работе.

Пользуюсь недели 2 в Visual Studio 2022 с языком С#. Очень помогает, пишет часто правильный код. С алгоритмическими задачами справляется на ура.

Вероятно, буду покупать.

VITALITY, пользователь vc.ru

Классный сервис, иногда предсказывает будущее, я еще не придумал, что писать следом, а он уже предлагает функцию по трансформации данных из бекенда для моего фронта, в 80% случаев правильно. Но боюсь отупеть с ним. :)

Вячеслав Науменко, пользователь vc.ru

Пишу на GoLang, я плачу от счастья! Он буквально читает мои мысли на большой кодовой базе, я то и дело печатаю начало мысли, и он угадывает абсолютно все (даже с 1 буквы): код, комментарии, название и стиль ошибок. И он не просто угадывает, а пишет в стиле моей кодовой базы... Я уже клавишу Tab затер!

Единственный минус — это задержка между вводом и появлением подсказки, она, на мой взгляд, медленная (ведь вся кодовая база у него есть).

polRk, пользователь «Хабра»
In my experience the biggest help Copilot has done for me was showing me exactly where I was writing a lot of boilerplate code so that I could just simplify it.

It's pretty cool when it works and you can just tab a bunch of code but most of the time I spent just disabling it.
По опыту, самая большая помощь Copilot — он мне показывал, где именно я писал шаблонный код, и я мог его упростить. Довольно круто, когда ты можешь просто нажать Tab и получить код, но большую часть времени я просто исправлял его.
@frankdilo It’s way too early to charge money. Copilot produces too much garbage. Sometimes it’s obvious garbage but often the bugs are hard to spot.

I don’t get why ppl praise it that much. Sure, in a few years jt might be fantastic but it doesn’t save any time as-is in my experience.
Слишком рано брать деньги. Copilot создаёт слишком много мусора. Иногда очевидно, что код — мусор, но часто баги сложно обнаружить. Я не понимаю, почему люди так хвалят его. Конечно, через несколько лет он может стать классным, но сейчас, по моему опыту, он никак не экономит время.

3 июня Flutter-разработчик Евгений Сатуров рассказал в треде, как в течение месяца он с командой тестировал Copilot.

Ответ на публикацию @scoumbourdis
Мы тестили Copilot в одном из наших проектов месяц, в итоге решив отказаться от него как от обязательно к использованию инструмента. При том, что на старте эксперимента он нас до глубины души поразил.

Когда первое очарование проходит, проступают очертания суровой реальности.
Главная проблема, которую мы выявили – Copilot сбивает с мысли, предлагая порой совершенно безумные решения.

Ты не можешь не обращать внимание на подсказки, пытаясь осмыслить предложенное, хотя в это время в голове у тебя может быть полная картина будущего фрагмента кода.
Из однозначно полезных сфер применение: написание кода на малознакомом языке.

Флаттеристы часто залезают в натив и пишут небольшие фрагменты кода на Kotlin и Swift, который знают не так хорошо, как Dart. Copilot сильно ускоряет процесс и повышает качество кода.
Также замечено, что Copilot действительно учится даже на кодовой базе самого проекта. Если вы регулярно пишете один и тот же бойлерплейт, он научится писать его за вас.

Это очень удобно.
Copilot в разы полезнее при написании нового кода, чем при внесении изменений в существующий.

Чем меньше вокруг контекста, тем выше шанс, что предложенное решение будет уместно.
Мы предполагали, что Copilot сильно ускорит написание тестов. Эти ожидания оправдались.

Хороший нейминг – залог тестов, которые пишутся сами собой 🙂

Чему Copilot точно хорошо учит, так это правильному и понятному неймингу.
Несмотря на ряд действительно выдающихся возможностей Copilot – итог печален. Разработку он не ускоряет.

Спустя три недели экспериментов половина разработчиков в команде отключила Copilot, продолжив работать по-старинке.
3030
24 комментария

Если он 80% мусора пишет, который надо потом вычищать, то не проще подключать готовые библиотеки, наработки со старых проектов и так далее?
Типа уволить трёх айтишников, поставить вместо них копилот, и нанять ещё 10 айтишников, чтоб разбирались - что он там понаписал.

Или я чего-то не понимаю?

17
Ответить

Или я чего-то не понимаю?

Да.

8
Ответить

Это тема не про увольнение, это просто помощник в написании кода, не более того

3
Ответить

Использую копайлот уже несколько месяцев в бета тесте. Отличная вещь, иногда даже страшно, когда видишь как он предугадывает твои мысли. Если писать нормальные названия функций или комментарии, то он достаточно хорош, но он конечно просто помощник, а не заменитель и все равно нужно редактировать некоторые нужные места. Но в любом случае это огромный шаг

6
Ответить

Через 3 года вакансия оператор копайлота 10 usd per hours

6
Ответить

Интеллектуализировать надо чтение кода :)
потому что 90% времени уходит на чтение, понимание дизайна, понимание того каким образом этот код надо менять, а уж написать то новый - говно вопрос.

5
Ответить

Комментарий недоступен

4
Ответить