Переход с OpenAI API на другой сервис: что придется менять в приложении и за что платить

Условный пример. Смету переноса собирают по операциям, которые выполняет продукт.
Условный пример. Смету переноса собирают по операциям, которые выполняет продукт.

Чтобы оценить перенос приложения с чатами и инструментами на уже выбранный сервис, техлиду нужно выяснить, примет ли API знакомый запрос, сможет ли приложение выполнить вызов инструмента и показать ответ пользователю, а при сбое сохранить чат в рабочем состоянии. Пометка openai compatible api дает повод проверить формат запроса. В смете отдельно оценивают подключение, адаптер, тесты и откат. Расходы по API считают отдельно.

В условном примере чат сообщает покупателю статус заказа. После замены адреса API обычный вопрос о доставке проходит, и в задаче появляется оценка «два часа на перенос», хотя пока неизвестно, разберет ли приложение вызов инструмента из нового ответа и что увидит покупатель, если модель не запросит статус по номеру заказа. Откат тоже надо оценить. Владелец бюджета должен знать, кто вернет трафик на старый маршрут, если проверка на стенде пройдет, а в рабочем чате начнут пропадать ответы. Два часа можно оставить в смете, когда рядом появятся строки с ответами на эти вопросы.

Какой результат должен пережить смену API

Для чата со статусом заказа контрольная операция начинается с реплики «Где заказ 314?» и заканчивается сообщением, которое опирается на ответ системы заказов. В условном сценарии стенд возвращает для заказа 314 статус «передан курьеру». От чата ожидают этот статус в понятной покупателю формулировке. Слово «курьеру» может стоять в любом месте фразы. Обещание «привезут сегодня» уже меняет смысл, если система заказов не сообщила дату.

Разберите отдельно чат, вызов инструмента и запись результата.
Разберите отдельно чат, вызов инструмента и запись результата.

Разработчик берет запрос из действующего приложения и сохраняет его копию с тестовыми данными. Рядом указывает версию SDK, base URL, точный идентификатор модели и обязательный для этой операции параметр tools с описанием функции получения статуса. В той же записи полезно указать режим ответа. В учебной смете проверяют сценарий без потоковой передачи. Для рабочего чата, который показывает текст по мере поступления, понадобится отдельная проверка в его штатном режиме.

В контрольной записи достаточно сохранить исходный запрос, ожидаемый вызов функции с аргументами, тестовый ответ обработчика и несколько свойств итогового сообщения, по которым разработчик и тестировщик смогут независимо друг от друга проверить одну и ту же операцию. Номер заказа берется из аргументов вызова. Приложение передает его обработчику, связывает полученный статус с вызовом при отправке результата модели и показывает покупателю итоговый текст.

Тот же сценарий стоит прогнать на прежнем маршруте. Допустим, старый чат иногда обещает дату доставки без данных от системы заказов. Команде нужно решить, входит ли исправление в приемку. Иначе два человека оценят по одной задаче разный объем работ: один посчитает перенос чата, второй добавит исправление старого дефекта.

Что проверять за пометкой openai compatible api

Совместимость проверяют на конкретном запросе из приложения и на коде, который разбирает ответ. Для сервиса-кандидата фиксируют такой же набор сведений, как для прежнего маршрута: версию SDK, адрес, модель, обязательный параметр и режим. Способ авторизации проверяют на учетной записи, которой будет пользоваться приложение. Команда с российским покупателем также сверяет условия доступа для этой учетной записи. Условия прежнего маршрута проверяют отдельно, если он нужен для отката. Для OpenAI опора здесь - перечень поддерживаемых стран, в котором России нет. Причину ограничения конкретной учетной записи устанавливает поставщик.

Например, «Провод» предлагает API для приложений и автоматизаций. Оператор описывает Chat Completions, потоковую передачу и параметры, доступность которых зависит от модели. Эти сведения помогают собрать запрос для проверки. Они описывают интерфейс, а работоспособность чата со статусом заказа подтверждает прогон на выбранном клиенте. Документация Chat Completions.

Для самого прогона идентификатор берут из каталога моделей. По каталогу сверяют доступность модели, размер контекста и параметры. Названия двух моделей могут относиться к одному семейству, поэтому запись вроде «проверили на модели из этой линейки» оставит следующему разработчику задачу угадать, что запускать. Совместимость формата запроса и работа на модели OpenAI проверяются по разным сведениям: формат виден по обмену с API, модель фиксируют по выбранному идентификатору.

Строка «совместимость подтверждена, запрос успешен» сама по себе не закрывает работу с адаптером, потому что из нее нельзя понять, какой режим проверяли, вернул ли API вызов функции или только текст и что в итоге получил обработчик. Нужна запись прогона. Ссылка на тестовый запрос, сохраненный результат и отметка о том, что проверил действующий парсер, покажут, где закончилась проверка API и началась проверка приложения.

До смены маршрута инженер прогоняет контрольную операцию на стенде через код рабочего чата. В условном примере API принимает запрос, модель предлагает вызов функции с нужным номером, а старый клиент не может извлечь аргументы из ответа. По этому результату можно оценить адаптер. Когда в обязательных для приложения условиях вызова вообще нет, сначала нужен воспроизводимый запрос, на который модель отвечает требуемым вызовом.

Что покупатель увидит, если инструмент промолчит

Тест «без результата инструмента» проверяет, может ли чат закончить ход без выдуманного статуса заказа. На стенде модель доходит до вызова функции, приложение передает обработчику номер 314, а тестовый обработчик возвращает ошибку или прекращает отвечать. Условия задает тестировщик, поэтому в журнале понятно, на каком шаге произошел отказ. Простой запрос к модели без инструментов для такой проверки не подходит.

Пустой результат инструмента требует отдельного контрольного случая.
Пустой результат инструмента требует отдельного контрольного случая.

При отказе учебный чат показывает «Сейчас не удалось получить статус заказа. Попробуйте позже». Поле ввода доступно, а старый статус из другой реплики не появляется. Когда обработчик снова отвечает, стоит вручную отправить новую реплику в том же чате и убедиться, что покупатель получает свежий статус, поскольку интерфейс может уже показать ошибку, хотя незавершенный ход на сервере все еще блокирует следующее обращение. Для проверки достаточно стенда.

Если система заказов сообщила, что номера 314 у нее нет, приложение может попросить покупателя проверить номер. При тайм-ауте сведений о заказе нет, и сообщение «заказ не найден» заставит покупателя перепроверять номер из-за недоступности обработчика. Если прежний чат различает эти состояния, тестировщик записывает для них разные ожидаемые исходы.

На приемке проверяют, что приложение передает правильный номер и показывает статус из тестового ответа, а при сбое завершает ход штатно, сообщает о временной проблеме и принимает следующий запрос в том же чате. Автоповтор проверяют отдельно, если он предусмотрен. В журнале видно, сколько раз приложение вызвало инструмент чтения. Повтор вызова инструмента, который меняет заказ, требует отдельной проверки и выходит за рамки этой сметы.

Как посчитать стоимость миграции приложения с OpenAI API

В условном расчете сервис уже выбран, стенд доступен, прежнее подключение можно сохранить. Перенос касается одного чата с одной функцией чтения. По итогам проверки контракта для каждой строки сметы указывают результат, исполнителя и часы. Часы и ставка ниже приведены для примера.

• Подключение занимает 2 часа разработчика серверной части. Он добавляет конфигурацию нового маршрута с адресом, моделью и способом авторизации, сохраняет старую конфигурацию и проверяет, что приложение может выбирать между ними. Результат виден на стенде по записи о том, куда ушел запрос.

• На адаптер заложено 5 часов разработчика интеграции. Его задача состоит в том, чтобы разобрать вызов из нового ответа, передать номер действующему обработчику и отправить результат обратно в ожидаемом формате. Когда обработчик возвращает ошибку, адаптер передает ее в штатную ветку приложения. На выходе есть изменение в коде и воспроизводимый запрос для ревью.

• Регрессионный прогон занимает 2 часа тестировщика. В эту строку входят удачный запрос о заказе, тест без результата инструмента и следующий ход в том же чате. К приемке тестировщик прикладывает ожидаемые и полученные результаты для каждой ветки.

• Репетиция отката занимает 1 час инженера выпуска. На стенде он выбирает прежнюю конфигурацию, выполняет контрольную операцию и по журналу проверяет маршрут запроса. Переключение уже учтено в подключении. Вместе с регрессионным прогоном получается 3 часа на тесты и откат.

Итого в условном примере 2 + 5 + 3 = 10 часов. При условной ставке 1 500 ₽ за час стоимость работ составляет 15 000 ₽ до расходов по API. Ставка единая для простоты примера. При разных ставках команда умножит часы каждой строки на ставку ее исполнителя и сложит суммы. Должности в смете можно заменить именами, чтобы было понятно, у кого уточнять оценку и кто подтверждает готовность своей части.

Если штатный клиент полностью обрабатывает вызов и результат функции, обе ветки проходят, а для нового подключения хватает отдельной конфигурации, при тех же допущениях остаются 2 часа на подключение и 3 часа на тесты с откатом. Это 5 часов и 7 500 ₽ до расходов по API. В карточке работ сохраняют запись прогона, по которому сняли 5 часов разработки. К ней можно вернуться, если перед выпуском сменится модель или версия SDK.

Для чата с обязательным потоковым ответом техлид добавляет в смету отдельную проверку и назначает исполнителя, который выяснит, как клиент собирает вызов инструмента по частям, когда запускает обработчик и что покажет интерфейс, если передача оборвется. Часы добавляют после разбора контрольного ответа. До этой проверки 15 000 ₽ покрывают описанный вариант с ответом целиком.

Какие расходы по API останутся после работ

В часах разработки считают изменения в приложении. API оплачивается и на стенде, и при дальнейшей работе чата. Чтобы оценить расход на одну реплику покупателя, полезно проследить весь ход до итогового ответа и посчитать обращения к модели, поскольку в учебном чате за запросом, который приводит к вызову функции, может последовать еще один с ее результатом. В смету идет расход по фактическому маршруту запросов.

Проверьте возврат маршрута на незавершенном диалоге.
Проверьте возврат маршрута на незавершенном диалоге.

Для сметы запись прогона из журнала приложения сверяют с подтвержденным расходом у поставщика. По журналу видно, сколько раз клиент обратился к модели и чем закончились запросы. В успешном сценарии отдельно отмечают работу функции и получение финального текста. При сбое проверяют, был ли повтор и во сколько обошелся прерванный запрос. К записи можно вернуться после перехода, если фактический расход разойдется с прогнозом.

В документации «Провода» описано, что доставленная часть потока или подтвержденное использование при прерывании могут оплачиваться. До подтвержденного расхода резерв освобождается. Для оценки тестов прерывания это означает, что сам статус ошибки еще не отвечает на вопрос о списании. Сумму по такому прогону сверяют по подтвержденному расходу. Правила учета расходов и баланса.

Для прогноза после перехода команда умножает ожидаемое число операций на измеренный расход на одну операцию в сопоставимых условиях. Сценарии с разным числом запросов удобнее считать отдельно, например обычный вопрос о доставке и запрос статуса через функцию. Объем обращений можно взять из журнала своего приложения, а расход проверить на выбранной модели с близким объемом входа. Учебная смета содержит только часы и условную ставку. Данных о расходе на запрос и будущем трафике в ней нет, поэтому итоговую сумму эксплуатации из 15 000 ₽ вывести нельзя.

Когда согласовать переход и когда отложить покупку

Техлид может согласовать переход, когда на выбранной версии клиента подтверждены обязательные свойства результата, а для каждой переделки известны часы и исполнитель. В учебном чате проверяют успешный запрос статуса, ход без результата инструмента и восстановление прежнего маршрута на стенде. При выпуске инженер сверяет конфигурацию с записью прогона. При смене модели или режима ответа затронутые проверки повторяют.

План должен назвать исполнителя, объем и наблюдаемый результат каждой работы.
План должен назвать исполнителя, объем и наблюдаемый результат каждой работы.

Откат проверяют до выпуска: инженер возвращает прежний маршрут и делает новый ход в открытом чате. Для этого нужен действующий доступ к прежнему API и возможность продолжить обработку диалога. Если прежний маршрут не может обработать сохраненный незавершенный вызов, в смету добавляют работу с состоянием диалога и оценивают ее по сбою, воспроизведенному на стенде.

Покупку для рабочего чата имеет смысл отложить, если обязательный вызов инструмента не удается воспроизвести или приложение при отказе выдает покупателю неподтвержденный статус. При воспроизводимом вызове и понятной переделке можно согласовать работы с заданным критерием приемки. Если проблема возникает лишь в потоке, а продукт допускает ответ целиком, владелец продукта может согласовать такой режим, после чего команда принимает смету для него. Когда поток обязателен, итоговая оценка ждет проверки этого режима.

В карточке перехода остаются условия прогона, ожидаемое поведение и смета с именами исполнителей. Пометка openai compatible api относится к проверенной операции на указанном клиенте. Условные 15 000 ₽ покрывают перенос с адаптером и репетицией отката. Бюджет на запросы считают после сверки журнала с расходами у поставщика. По карточке владелец бюджета может согласовать работы, вернуть строку на уточнение или отложить покупку до следующего прогона.

Чтобы оценить переделку в часах, сначала выпишите параметры работающего клиента. Сверьте их с руководством по миграции на API «Провода».

Источники