Классная статья! 👍 Возможность работы ИИ без интернета — для автономности это прям огонь 💥. Насколько быстро LLaMA 3.2 справляется с обработкой медиа локально? Можно про безопасность больше примеров — как она защищает данные в реальных условиях?
Как это всё интегрировать на старых устройствах? Это реально работает без лагов?
Модель свежая и протестировать полноценно еще не успел, но это в планах и работе. Сегодня я и у меня в компании, мы активно применяем GPT4All с Llama 3.1 в которой 8 млрд. параметров. Запускаем на ПК где нужно 16 Гб оперативной памятью, нейронка займёт 8 Гб. На 4-6 летних ПК у нас получается 3-6 токенов в секунду, при этом качество ответов не страдает. А GPT4All дает возможность работать с вашими текстовыми документами. Подробнее в предыдущей статье: https://vc.ru/ai/1367388-rabota-s-dokumentami-s-pomoshyu-ii-bez-interneta
Сама модель никак данные не защищает, но позволяет организовать безопасный контур, т.к. не требует для своей работы соединение с Интернет. Важно, модель не умеет выходить в Интернет и ничего туда не выгружает и не загружает. По этому, что бы она обработала какую то ссылки, приходится скачать страницу или страницы и предоставить модели в виде текстовых файлов, что не очень удобно.
Классная статья! 👍 Возможность работы ИИ без интернета — для автономности это прям огонь 💥. Насколько быстро LLaMA 3.2 справляется с обработкой медиа локально? Можно про безопасность больше примеров — как она защищает данные в реальных условиях?
Как это всё интегрировать на старых устройствах? Это реально работает без лагов?
Модель свежая и протестировать полноценно еще не успел, но это в планах и работе. Сегодня я и у меня в компании, мы активно применяем GPT4All с Llama 3.1 в которой 8 млрд. параметров. Запускаем на ПК где нужно 16 Гб оперативной памятью, нейронка займёт 8 Гб. На 4-6 летних ПК у нас получается 3-6 токенов в секунду, при этом качество ответов не страдает. А GPT4All дает возможность работать с вашими текстовыми документами. Подробнее в предыдущей статье: https://vc.ru/ai/1367388-rabota-s-dokumentami-s-pomoshyu-ii-bez-interneta
Сама модель никак данные не защищает, но позволяет организовать безопасный контур, т.к. не требует для своей работы соединение с Интернет. Важно, модель не умеет выходить в Интернет и ничего туда не выгружает и не загружает. По этому, что бы она обработала какую то ссылки, приходится скачать страницу или страницы и предоставить модели в виде текстовых файлов, что не очень удобно.