Порочный круг XellTech

представьте компанию которая так не любит npm и python что переписала PyTorch и LLama.cpp на C++ собрав пол рынка серверного ПО в одном бинарнике.

а что представлять? вот, XellTech. контора держащаяся на Claude Code и чистой неприязни к npm)

Я как глава этого кошмара хотел рассказать о том что уже было сделано (спойлер, стек от сайта до операционной системы)

начну с слона в комнате. XAI Engine.

это мой ИИ движок который я сделал чтобы заменить PyTorch инференс и LLama.cpp. первый бесил скоростью а второй тем что он на gguf формате.

эта штука не только умеет запускать мои же ии модельки. но еще и имеет тонну мелких фишек

к примеру, он может работать с пачкой разных моделей одновеменно на каких то бешенных скоростях под 200 токенов в секунду. также у него есть встроенный балансировщик нагрузки.

то есть можно запустить ./xai --mode master --config config.json --group Main и на машинах рядом ./xai --mode node --group Main. они найдут друг друга автоматически и синхронизируют конфиги + файлы моделей обьеденяясь в кластер.

все любят зеленые бумажки. поэтому добавил в движок систему токенов и балансов. XAI сам будет считать потребление и зачисления.

также при запуске xai поднимает админ сайт где можно контролировать весь кластер. его нагрузку. распределять приоритет моделей. добавлять новые в пару кликов и настраивать когда модель появится в апи и когда исчезнет.

кстати об API...)

это по факту главная фишка xai. он позволяет за пару минут поднять собственный готовый OpenAI совместимый API серввер с токенами и распределеием нагрузки.

ну или же можно использовать кастомный /x1 апи. там передается намного больше информации.

к примеру прогресс. это особенность проходящая сквозь весь стек. во время генерации модель не только пишет. но еще и постоянно отправляет данные сколько примемрно % ответа она уже завершила. по субьективной оценке точность +- 0.5 секунд между реальным завершением и предсказанным

но должен же быть нюанс в этой сказке? да?

и он есть. XAI Engine работает только с моими же моделями в формате model.xai

но на этот косяк у меня есть еще один камаз кастылей.

имя ему XAI Studio

это тоже C++ монстр который позволяет обучить собственную модель с нуля за 5 строчек в терминале. также он может дообучать модели

ну и теперь самое вкусное. цифры.

XAI Engine весит 2.3 мегабайта. из зависимостей у него только драйвера nvidia и электричество

XAI Studio весит 996 килобайт и из зависимостей у него тоже самое. драйвера nvidia и электричество.

но есть одна главная проблема. о всем этом пока что знаю только я, пара людей причастных к разработке и ты, который все еще почему то читает этот пост)

но если отбросить все шутки то это все пока что неизвестно вообще никому.

мне очень не хватает людей в команде. особенно пиарщиков тестировщиков и настоящих програмистов.

буду очень рад если ты спросишь меня о чем либо в коментариях под постом или напишешь мне в тг чтобы присоедениться к команде @raderedev64