Расчет Коммерческого предложения с ChatGPT: гид по техникам и наш опыт

В мире цифровых технологий и стремительного развития рынка клиенты хотят превратить свои идеи в реальные проекты практически мгновенно. Однако старт движения к успеху начинается с Технического задания (ТЗ), которое мы, как исполнители, получаем от заказчика.

Оперативность и грамотный подход в формировании КП крайне важны, ведь проект нужен "вчера". Поэтому мы в RentaTeam разработали собственный алгоритм подготовки коммерческого предложения. Он состоит из основных этапов:

1. Изучение ТЗ и других артефактов от заказчика;

2. Менеджер собирает всю информацию и формирует таблицу задач для разработчиков;

3. Таблица передается разработчикам, которые дают ориентировочную оценку (по системе T-Shirt Sizes);

4. Оценки ложатся в основу ориентировочного бюджета проекта.

Работая над КП, менеджеры сталкиваются с рядом проблем:

1.Скорость оценки. Разработчикам требуется время для погружения в задачи, и им нужно учесть их текущую загруженность.

2.Точность оценки. Разработчики оценивают задачи, исходя из своего опыта, что может добавить погрешность.

3.Привязка оценки к разработчику. Оценка может зависеть от уровня разработчика (middle, senior).

4.Неявные риски. Разработчики могут включить в оценку скрытые риски.

В RentaTeam мы всегда ищем новые способы повышения эффективности и решения сложных задач. И теперь наш взгляд упал на искусственный интеллект: возможно ли с его помощью справиться с проблемами подготовки коммерческого предложения?

В качестве модели в данной статье используем ChatGPT.

За основу взято обычное ТЗ “Маркетплейс”.

Подготовлено:

● ТЗ от заказчика “как есть”

● список задач после обработки менеджером (16 шт)

● список задач после оценки разработчиком грейда senior

Для GTP подготовлен вводный запрос в виде:

“Ты iOS разработчик, уровень middle/senior. Сейчас тебе будут даваться задачи из технического задания. Ты должен указать примерное время выполнения этих задач в часах. Допускается указать временной интервал. Также ты должен выделить 3 основных риска, связанных с этой задачей.”

Далее мы представим 4 сессии общения с ChatGTP, полученные данные и обобщим результаты.

Сессия №1

● Задаем уровень GPT как middle

● В качестве данных берем 16 задач, подготовленных менеджером

● Для сравнения используем оценку от разработчика (senior)

Полученные результаты.

● Суммарная оценка разработчика по всем задачам 96-168 часов. Суммарная оценка GPT по всем задачам 209-290 часов.

● По минимальному времени GPT превысил оценку разработчика на 116,67%, по максимальному на 72,62%.

● К каждой задаче GPT указал по 3 риска, влияющего на оценку. Все они обоснованные и вполне имеют место быть и касаются, в первую очередь, непосредственно процесса разработки.

Сессия №2

● Задаем уровень GPT как senior

● В качестве данных берем 16 задач, подготовленных менеджером

● Для сравнения используем оценку от разработчика (senior)

Полученные результаты.

● Суммарная оценка разработчика по всем задачам 96-168 часов. Суммарная оценка GPT по всем задачам 304-410 часов.

● По минимальному времени GPT превысил оценку разработчика на 216,67%, по максимальному на 144,05%.

● К каждой задаче GPT указал по 3 риска, влияющего на оценку. Все они обоснованные и вполне имеют место быть и, в отличие от оценки GPT (middle), касаются в основном багов и непредвиденных ситуаций при интеграции сторонних сервисов. Похоже, GPT считает, что у senior-разработчика не должно быть рисков непосредственно с разработкой на своей стороне.

Сессия №3

Вводные

● Задаем уровень GPT как middle

● В качестве данных берем ТЗ от заказчика “как есть”

● Для сравнения используем оценку от разработчика (senior)

Полученные результаты.

● Суммарная оценка разработчика по всем задачам 96-168 часов. Суммарная оценка GPT по всем задачам 88-118 часов.

● По минимальному времени GPT дал меньшую оценку, чем разработчик на 8,33%, по максимальному на 29,76%.

Сессия №4

Вводные

● Задаем уровень GPT как senior

● В качестве данных берем ТЗ от заказчика “как есть”

● Для сравнения используем оценку от разработчика (senior)

Полученные результаты.

● Суммарная оценка разработчика по всем задачам 96-168 часов. Суммарная оценка GPT по всем задачам 72-100 часов.

● По минимальному времени GPT дал меньшую оценку чем разработчик на 25%, по максимальному на 40,48%

После четырех сессий мы видим довольно интересные результаты.

Так, когда мы скармливаем GPT задачи, подготовленные менеджером, оценка выходит больше, чем у разработчика. Если же ТЗ отправляется “как есть”, оценка выдается меньше.

Также интересно, что в сессии №2, GPT (senior) выдал оценку больше, чем GPT(middle). То есть, с точки зрения GPT senior будет выполнять задачи дольше, чем middle. В принципе, это можно объяснить указанными ИИ рисками: для middle разработчика это риски верстки и всего, что связано с разработкой приложения; для senior - это уже риски интеграций, багов, краевых состояний и нетипичного поведения.

Если смотреть по процентному отклонению от оценки живого разработчика, более применимыми кажутся результаты по необработанному ТЗ.

В текущей статье мы использовали одно ТЗ с достаточно типовыми задачами. И в плане оценок, как помощь\альтернатива живому разработчику при оценке коммерческого предложения, ChatGPT имеет право на применение, но не замещение. Без дополнительной обработки, менеджерских рисков и т.п. оценка GPT имеет слишком большой разброс.

С другой стороны, приведенные им риски могут помочь в подготовке бюджета уже менеджеру.