🔹 soycaporal/ternlight

⭐ 349 звёзд · Python

Семантический поиск через эмбеддинги прямо в браузере или на бэкенде без внешних API. Модель дистиллирована из all-MiniLM-L6-v2, обучение на Python, движок вывода на Rust собран в один .wasm с BERT-токенизатором внутри.

Фишка — тернарные веса (-1, 0, +1) по архитектуре BitNet b1.58 с quantization-aware training. Пакет @ternlight/base весит 7.2 МБ и считает эмбеддинг за 5.1 мс, @ternlight/mini — 5.0 МБ и 2.5 мс. На выходе 384-мерный L2-нормализованный Float32Array, Spearman к учителю 0.844.

Ограничения: вход до 128 токенов (~95 слов). Запускается в Node.js ≥18, браузерах, Cloudflare Workers, Vercel Edge, Deno и Bun.

репозиторий

Подписывайтесь на Telegram Полезная Репа.