Anvil: приватный ассистент с ИИ, который работает прямо на iPhone
Привет! Меня зовут Натан, я в одиночку делаю Anvil, ассистента с ИИ для iPhone. Хочу рассказать, как он устроен, что получилось и что пока не очень, и позвать желающих в бесплатную бету.
Идея
Мне хотелось ассистента, которому можно доверить заметки, документы и личные вопросы, и который не отправляет всё это на чужой сервер. Поэтому в Anvil модели работают на самом телефоне.
Что умеет текущая версия
Чат на модели Gemma 4 E2B от Google, запущенной на iPhone через LiteRT LM.
Anvil Dream: генерация картинок 1024x1024 прямо на телефоне. Это вариант SDXL Lightning, переведённый в Core ML и работающий на Neural Engine.
Чтение и перевод вывесок и табличек без интернета, что удобно в поездках.
Голос, заметки, задачи, фото и документы в одном приложении.
Аккаунт не нужен. Anvil Core один раз скачивается по WiFi. Веб поиск и резервная копия в iCloud есть, но включаются только по желанию.
Что было сложно
Самая большая проблема была с памятью. Языковая модель и модель для картинок вместе в память не помещаются так, чтобы приложение работало стабильно. Поэтому они никогда не загружаются одновременно: когда вы переходите от чата к картинкам, одна модель выгружается и загружается другая. За это приходится платить небольшой паузой при переключении, зато приложение не вылетает.
Ограничения
Нужен iPhone 15 Pro или новее. На более старых моделях не хватает памяти. Генерация картинок скачивается отдельно, чтобы не занимать место у тех, кому нужен только чат.
Бета
Сейчас Anvil в открытой бете в TestFlight, и все тестировщики получают Anvil Pro бесплатно. Я сам читаю все отзывы, поэтому буду рад любым замечаниям, в том числе критике.