Прототип в Google AI Studio готов. Что проверить перед покупкой API для российского продукта?
Перед покупкой API для российского SaaS заложите в бюджет один пробный вызов из приложения. Если в Google AI Studio модель уже взяла верный срок доставки из таблицы, повторите тот же запрос через приложение и посмотрите, сможет ли оно обработать ответ и что произойдет при ошибке. Покупку для рабочего трафика согласуйте после проверки ошибок, если условия доступа и стоимость повторов укладываются в требования проекта.
В условном примере SaaS помогает менеджерам интернет-магазина отвечать на вопросы о доставке. На демо руководитель продукта видит фразу «Доставка займет 3 рабочих дня» и узнает число из таблицы. В приложении это будет готовая подсказка для покупателя, которую менеджер сможет отправить из своего интерфейса, поэтому при пустой ячейке ему нужен статус «уточнить срок»: правдоподобное число изменит обещание магазина покупателю.
По заявке «подключить Google AI Studio API для приложения» пока показали один ответ. В пробном прогоне предстоит выяснить, откуда приложение возьмет строку таблицы, как отделит срок от пояснения и что увидит менеджер, если ответ запоздает.
Что именно переносить из Google AI Studio в приложение
Для пробного переноса из AI Studio хватит одной обезличенной строки таблицы и двух ее вариантов. Приложение получает код зоны, ищет по нему строку и передает ее модели вместе с вопросом о сроке, чтобы по полям ответа можно было проверить, из какой строки взято число. Источник срока здесь таблица.
Пусть для зоны Z2 в таблице стоит 3, а единицу измерения хранят отдельно: рабочие дни. В ответе обязательны три поля. Для заполненной ячейки это status со значением ok, zone с кодом Z2 и days с целым числом 3. Для пустой ячейки ожидаются needs_review, тот же код зоны и null в days. Приложение берет число из days только при ok, собирает текст по правилам продукта и перед показом сверяет число с таблицей.
В контрольном промпте меняются вопрос и данные зоны. Правила остаются прежними: какие поля вернуть, как обработать пустую ячейку и откуда брать срок. Для прогона команда сохраняет обе части промпта, фрагмент таблицы и настройки демо, от которых зависит ответ. Если на демо прикрепляли всю таблицу, для пробного вызова важно записать, кто извлекает строку и в каком виде она поступает модели, поскольку от этого зависит, какую часть операции проверяет вызов. Здесь строку ищет приложение. Прогон покажет, как модель отвечает по готовой строке. Работу с целой таблицей придется оценить отдельно.
Сохраните исходную строку и ожидаемый ответ целиком. Если у соседней зоны тоже три дня, по одному числу 3 ошибку не видно. Для приемки нужен и код Z2.
Где будет работать запрос и какой доступ нужен проекту
Пробный запрос имеет смысл отправить в конфигурации, которую команда сможет использовать при запуске, поэтому владелец продукта заранее определяет, откуда рабочий сервер будет обращаться к API, какой проект он использует, кто этим проектом управляет и кто оплачивает вызовы. У личного аккаунта свои условия. Успех запроса из него подтверждает работу именно в этих условиях.
В опубликованном Google списке доступных регионов для Google AI Studio и Gemini API России нет. Для прямого вызова Gemini API из российского продукта доступность демо сама по себе оставляет вопрос открытым. В своей схеме отдельно проверьте место использования и страну биллинга. список доступных регионов.
В карточке прогона полезно указать, из какого проекта отправили запрос, разрешено ли в выбранном режиме коммерческое использование и на каких условиях можно передавать данные магазина с учетом того, какие сведения в них содержатся. Для проверки формата хватит обезличенной строки. На ней владелец продукта может закончить техническую пробу и отложить запуск, пока не решен вопрос с рабочими данными.
Один из вариантов для проверки операции предлагает «Провод», у которого есть API для приложений и автоматизаций. Ответ успешного вызова и дополнительные поля зависят от интерфейса и модели. Команда может взять ту же обезличенную строку, проверить условия использования и воспроизвести операцию из своего клиента. Вывод будет относиться к этому вызову в выбранной конфигурации.
Как проверить модель и формат через клиент приложения
В карточку приемки записывают точный идентификатор модели, параметры запроса и то, как клиент читает ответ. Название семейства помогает найти модель. Доступность конкретного варианта, размер контекста и поддерживаемые параметры для «Провода» сверяют по каталогу моделей. Каталог меняется, поэтому рядом с идентификатором полезно поставить дату проверки.
Оператор описывает Chat Completions, потоковую передачу и необязательные параметры в пределах возможностей модели. На той версии клиента, с которой соберут приложение, команда проверяет, принимает ли модель параметры прототипа, откуда клиент берет результат и по какому признаку понимает, что ответ закончился и его пора передать валидатору. Прогон заканчивается подсказкой менеджеру. Документация описывает интерфейс. Результат прогона относится ко всему пути от запроса приложения до подсказки.
В первой версии клиент может дождаться полного ответа API, извлечь из него результат, разобрать поля и сверить срок с исходной строкой, чтобы приложение решило, какую подсказку целиком увидит менеджер. Для демо хватит фразы «три рабочих дня». Для приемки нужны поля.
Допустим, у выбранной модели нет параметра формата, на который опирался прототип. Тогда команда может запросить те же поля в промпте и строго проверять их в приложении. Если ответ поврежден, менеджер увидит предложение уточнить срок. Такой вариант подходит для пробного запуска, если бизнес допускает ручную обработку и ее объем укладывается в лимит команды. Если подсказка должна появляться автоматически, нужен вариант модели и интерфейса, который проходит проверку формата с допустимой долей отказов. По одному удачному вызову для Z2 эту долю определить нельзя.
Какие сбои должны пройти приемку
Заполненную строку и строку с пустым сроком проверяют с одним промптом и теми же настройками. Ошибочный вход проверяет приложение. В журнале каждого прогона фиксируют то, что увидит менеджер. Сам ответ модели видит только команда.
• Для Z2 со сроком 3 рабочих дня приложение принимает ok, Z2 и 3, сверяет их со строкой и показывает «Доставка займет 3 рабочих дня». Другое число бракуется даже при верном формате.
• При пустом сроке в той же строке ожидается needs_review, Z2 и null. Менеджер видит «Уточните срок доставки». Клиент сверяется с пустой ячейкой и блокирует показ числа, даже когда модель вернула знакомый код зоны и подставила 3.
• Если вместо строки с кодом зоны пришел список, приложение помечает вход как ошибочный и просит исправить данные. В журнале должно быть ноль запросов к модели.
Тестовый клиент воспроизводит два тайм-аута подряд: после первого правила продукта допускают один повтор и подсказка остается недоступной, пока клиент ждет ответа, а после второго менеджер видит сообщение о том, что срок нужно уточнить вручную. Обе попытки попадают в журнал. Тест показывает, как приложение ведет себя при таком сбое. Частоту тайм-аутов определяют отдельно по рабочему трафику.
Промпт, обезличенные входы, ожидаемые значения и фактический результат хранят рядом с идентификатором модели и версией клиента. Если через неделю модель сменится, по записи «пустая ячейка обработана» не понять, что произошло, а с сохраненным входом можно повторить вызов, выяснить, откуда взялось число, пропустил ли его клиент и при каком статусе появилось сообщение для менеджера.
Сколько бюджет теряет на повторных запросах
В смету закладывают стоимость попыток, включая повторные, и расходы на ручную обработку, если она предусмотрена. Для прямого Gemini API расчет связан с проектом и режимом квоты. Возможность бесплатного использования зависит от модели, тарифа и региона. Условия для выбранного проекта сверяют по документации Gemini API о биллинге.
Для учебной сметы возьмем до 10 000 операций в месяц, которые дошли до вызова модели. Каждую учитываемую попытку, в том числе повторную, считаем по 0,40 рубля. Ставку задали для примера. Она не относится к тарифам Google или «Провода». Вход с ошибочным типом поля приложение отсекает до вызова модели, поэтому в расчет он не попадает.
Без повторов месяц стоит 4 000 рублей. Если на каждые десять операций приходится один дополнительный вызов, за месяц набирается 1 000 повторов, и за 11 000 попыток проект заплатит 4 400 рублей, из которых 400 рублей уйдут на повторы. Одну десятую взяли для сметы. Три контрольных входа и тестовый тайм-аут такой частоты не предсказывают.
При лимите 4 500 рублей, том же объеме и той же ставке проект может оплатить 11 250 попыток. На повторы остаются 1 250 вызовов, или 12,5% от числа исходных операций. Если повторять вызов для каждой четвертой операции, сумма вырастет до 5 000 рублей. Покупку для всего потока придется отложить. Владелец может пустить в пилот часть запросов или отправлять менеджеру задачу на ручную проверку сразу после тайм-аута. Во втором случае вызовов станет меньше, работы у менеджеров прибавится, а ее стоимость придется посчитать отдельно.
Рабочая смета опирается на правила учета попыток у выбранного поставщика, цену выбранной модели на дату сверки и данные о размере запросов и ответов. Посчитать стоит и стоимость проверки до запуска. Например, если модель требует передавать больше контекста, чем одна строка, замер на коротком учебном запросе дает оценку только для этого короткого запроса.
При каких условиях пускать операцию в приложение
Ограниченный запуск возможен, если выбранный проект разрешено использовать в рабочей схеме и клиент проходит приемку: выдает подсказку для корректной строки, отправляет пустой срок на уточнение, отсекает ошибочный вход до вызова и показывает предусмотренный статус при тайм-ауте. Для запуска также нужны лимит расходов и проверенное отключение подсказки. На первом запуске, если ее отключат, менеджер снова смотрит срок в таблице вручную. После смены модели можно вернуть прежнюю проверенную конфигурацию, пока она доступна на согласованных условиях.
Для решения удобно заполнить одну карточку. В ней хватает следующих записей:
Для Z2 со сроком 3 в карточке фиксируют подсказку о трех рабочих днях, для пустой ячейки в той же строке фиксируют предложение уточнить срок. Рядом с обезличенными входами и фактическими ответами указывают проект, место вызова, режим использования, идентификатор модели, версию клиента и дату проверки. При неверном типе поля в журнале ожидается ноль запросов. Для тайм-аута в карточке указывают правило повтора и текст для менеджера. В учебной смете 10 000 операций и 1 000 повторов по 0,40 рубля за попытку обходятся в 4 400 рублей. Если подсказку отключат, менеджер берет срок из таблицы.
Карточка фиксирует, на какую операцию, модель и версию клиента выдано разрешение на пилот по заявке «Google AI Studio API для приложения», и дает исходные данные, чтобы воспроизвести ошибку, если на месте пустого срока появилось число. Такая ошибка блокирует выпуск. Если модель вернула нужные поля, но клиент их не прочитал, работу продолжает команда интеграции. Пока вопрос с доступом открыт, команда сохраняет результат технического прогона и откладывает запуск до проверки условий.
В учебной смете 4 400 рублей укладываются в лимит 4 500 рублей при заданных десяти процентах повторов. Бюджет рабочего потока сверяют с журналом пилота, где видны реальные попытки и ручные проверки. Начать можно с одной подсказки о доставке. Для дополнительных операций, моделей и способов подачи таблицы потребуются свои контрольные входы и новая приемка.
Перенесите один обезличенный пример из прототипа в карточку приемки. Сопоставьте его с примером API-запроса в «Проводе».