50 миллиардов токенов спустя: мой путь развития llm7.io с нуля

Дисклеймер: эту статью написал человек.

Всем привет, меня зовут Евгений. В апреле 2025 года я запустил небольшой пет-проект - llm7.io.

Изначально это вообще не задумывалось как «продукт». Я делал его под свои задачи, а заодно открыл простой chat-compatible API endpoint, через который любой желающий мог получить доступ к LLM-моделям. Одна из ключевых целей была личной: проверить свои инженерные навыки и архитектуру под реальной prod-нагрузкой.

Спустя почти семь месяцев этот «маленький эксперимент» превратился во что-то гораздо более серьёзное, чем я ожидал.

За это время llm7.io пришлось быстро повзрослеть.

Сервис практически всё время работал 24/7, было меньше десяти простоев, каждый из которых я старался чинить максимально оперативно (+- несколько часов). Для одиночного пет-проекта я этим искренне горжусь. Это значит, что люди реально используют llm7.io для прототипирования идей, построения инструментов и экспериментов - и инфраструктура в целом выдерживает.

Но вместе с ростом пришли и проблемы.

В какой-то момент стало ясно: полностью безлимитный бесплатный доступ - невозможен. Не столько технически и финансово, но и по отношению к тем, кто пользуется сервисом ответственно.

В августе и сентябре сервис начал получать довольно странную нагрузку. Внешне запросы выглядели «прилично»: без мата, без очевидно вредоносного контента. Но если присмотреться, запросы были по сути бессмысленной мешаниной слов, повторяющейся по кругу - явно не реальное, или лучше сказать - осмысленное использование.

Кто-то потратил немало времени, чтобы автоматизировать отсылку мусора. Запросы приходили на верхней границе rate limit, каждую секунду, неделями подряд. Скорее всего, цель была проста: забить очередь, перегрузить систему и сделать сервис неудобным для всех остальных (если идея была «обанкротить llm7 бессмысленными запросами» — спойлер: в таком виде это не сработает).

Для меня это превратилось в своеобразную задачу:

Одних только rate limit'ов уже было недостаточно. В итоге я пришёл к довольно простому выводу: чтобы обеспечить нормальный доступ ответственным пользователям, какая-то форма платной подписки неизбежна.

Со стороны «ну давай сделаем подписку» звучит просто. На практике это затрагивает почти всё:

После нескольких итераций я остановился на двух уровнях подписки, которые самому кажутся разумными: Vibe и Pro.

Этот план для тех, кто делает агентов, небольшие сервисы или инструменты — когда бесплатные лимиты уже тесноваты, но до «тяжёлого продакшена» ещё далеко.

Идея простая: те, кто завязан на llm7.io серьёзными задачами, должны иметь возможность получать стабильный, предсказуемый и более ёмкий доступ.

Мне не хотелось просто взять и сказать всем: «Платите или до свидания».

Бесплатный доступ остается, просто лимиты стали немного строже, чтобы сервис можно было поддерживать и чтобы он был менее привлекательной целью для абьюза.

Сейчас есть две основные бесплатные опции:

Этого, на мой взгляд, достаточно, чтобы быстро попробовать API, собрать небольшой MVP и понять, нужна ли вам платная подписка - без договоров, бумажек и прочей бюрократии.

Для большей прозрачности я обновил документацию: https://docs.llm7.io/quickstart

Если вы дочитали до этого места и думаете попробовать платный план, хочу поделиться промокодом.

Можно использовать:

чтобы получить 50% скидку на первый месяц любой подписки llm7 (Vibe или Pro).

Промокод действует до 23:59 30 ноября 2025 года по Лондонскому времени.

Одной из самых приятных и мотивирующих вещей для меня стало сообщество вокруг этого маленького проекта. Быстрый поиск по GitHub уже показывает примерно 150 open source-интеграций, где упоминается llm7.io.

Для чего-то, что начиналось как «проверить архитектуру под нагрузкой», это выглядит довольно неожиданно и очень приятно.

Дальнейшие шаги во многом зависят от:

К концу декабря у меня будет более чёткое понимание, куда двигаться дальше. Но одно я знаю точно: я хочу продолжать развивать сервис:

Спасибо, что вы есть - независимо от того, отправили вы один запрос или миллион.

Увидимся в следующий раз. Уверен, довольно скоро :)

С Уважением,

Евгений