Настало время релиза. Читателям канала первее всех.

Чем занимаюсь: Мы делаем on-device AI. Начали с того что сделали полностью свой с нуля инференс движок для моделек на Apple Silicon. И он open sourced на 90%. Есть небольшой кусок привязанный к платформе - speculative decoding. Который может дать значительное до 10х ускорение инференса.

О компании: называется Mirai с японского будущее. Мы верим, что локальные модели очень важная часть будущего UX и того какой опыт взаимодействия будет человека с устройствами вокруг него. Подняли pre-seed около 4M USD, на сайте есть чуть подробнее.

Ссылочки и как можно помочь:

1/ проект open source и мы будем очень рады если вы поставите звездочку и покажете тем, кто работает с приложениями для iOS & macOS. Есть биндинги под swift. Есть свой подход к тому как модели должны быть представлены для устройств. Лицензия MIT. Форкай как угодно!

2/ можно зайти к нам на сайт и попробовать все своими руками, проект для разработчиков, но если вы бизнес и хотите делать локальные штуки и экономить на облачном инференсе - велкам в личку

3/ апвоутом на HackerNews

4/ мы быстрее чем llama cpp и популярные обертки вокруг, мы удобнее и благодаря speculative decoding быстрее MLX от Apple. Мы ищем rnd & core performance engineers для поддержки аудио пайплайна (будем работать с очень крупным провайдером аудио моделей).

Thanks for reading!

Подписывайтесь на Telegram ChillHouse.