Например, представьте, что вы находитесь в поездке, где нет устойчивого доступа к интернету. С LLaMA 3.2 ваш телефон может служить настоящим личным помощником, переводить тексты, обрабатывать заметки, выполнять команды и даже создавать полноценные отчёты без необходимости подключаться к сети. Это особенно актуально для тех, кто работает в условиях частых командировок или любит проводить время на природе — теперь вам не нужно беспокоиться о доступности Wi-Fi или мобильных данных, чтобы воспользоваться всеми преимуществами ИИ.
По моему зря они деньги тратят, андроид обречен, его время прошло
Суть не в операционной системе, а в процессоре, на мобильных устройствах активно применяется ARM, а адаптация к ним позволит запускать нейронки на большинстве умных устройств (колонки, телевизоры и т.п.).
Классная статья! 👍 Возможность работы ИИ без интернета — для автономности это прям огонь 💥. Насколько быстро LLaMA 3.2 справляется с обработкой медиа локально? Можно про безопасность больше примеров — как она защищает данные в реальных условиях?
Как это всё интегрировать на старых устройствах? Это реально работает без лагов?
Модель свежая и протестировать полноценно еще не успел, но это в планах и работе. Сегодня я и у меня в компании, мы активно применяем GPT4All с Llama 3.1 в которой 8 млрд. параметров. Запускаем на ПК где нужно 16 Гб оперативной памятью, нейронка займёт 8 Гб. На 4-6 летних ПК у нас получается 3-6 токенов в секунду, при этом качество ответов не страдает. А GPT4All дает возможность работать с вашими текстовыми документами. Подробнее в предыдущей статье: https://vc.ru/ai/1367388-rabota-s-dokumentami-s-pomoshyu-ii-bez-interneta
Сама модель никак данные не защищает, но позволяет организовать безопасный контур, т.к. не требует для своей работы соединение с Интернет. Важно, модель не умеет выходить в Интернет и ничего туда не выгружает и не загружает. По этому, что бы она обработала какую то ссылки, приходится скачать страницу или страницы и предоставить модели в виде текстовых файлов, что не очень удобно.