Мимо проходивший
Не Whisper, я себе написал свое приложение для этого, модели эти используются huggingface/models/argmaxinc/whisperkit-coreml/
Да, процессом, все 3 модели которые включены. Занимают до 600 мб каждая
Я со многим согласен, уже сейчас можно команды прорядить на половину, вручив стобаксовые подписки сенорам, ничего не изменится, гарантирую. У нас в команде не было найма запланированного, просто потому, что за 100 баксов мы делает больше с тем же качеством за идентичное время.
Грустно и страшно одновременно. Разрабы очень сильно пострадают за текущий год, архитекторы тоже, девопсы туда же. За месяцы целые эпохи эволюции проходим (в сравнении), что просто не снилось другим профессиям.
Да не, на М чипах одно удовольствие быстрый локальный докер иметь, облака такой скорости не дадут, а мне часто локальный бек нужно поднимать многоконтейнерный и менять конфиг на лету.
В любом случае - макбуки и маки это топ и М перевернул игру. Был у меня Macbook pro 2019 на Intel и Macbook pro 2020 на M1, одинаковые во всем, кроме чипа - на первом можно было яйца жарить без преувеличения, второй холодный был в тех же задачах.
зачем те усб в 26-м?
https://huggingface.co/argmaxinc/whisperkit-coreml - конкретно сделаны для нейрочипов М процессора
Локальные модели, к примеру. Есть модели для распознавания голоса, компилируются по М чипы (под те самые 16 ядер NPU), и работают х4 быстрее. Сам пользуюсь тремя такими одновременно (градация от легкой 500мб до тяжелой 6гб).
по факту - дело привычки сочетания нажмать. Но можно и отдельный блок купить для этого.
Мобильность
на моем приложении был демон на пайтоне держащий обычную версию моделей whisper, потом переписал на нативную библиотеку для моделей https://huggingface.co/argmaxinc/whisperkit-coreml - х4 прирост распознавания, библиотека при скачивании модели ее еще компилирует под М чип.