Поставил LM Studio

У меня комп Mac Mini M4 Pro 64GB RAM.

Поставил себе олламу и gpt опенсорсный который 20 млрд параметров.

Ну что-то так себе пока, как-то работает, но скорости не такие, как уже привык.

Вообще изучил чутка тему, "своя ЛЛМка" а точнее "self-hosted LLM" - очень популярная тема на западе в блогах и ютюбах. В первую очередь, топят за приватность, что никто там ваши данные не увидит.

А я улыбаюсь и думаю "ну и пусть учатся, нет все равно никакой приватности в интернете, зато скорости и ценность какая за такие деньги".

А в русскоязычном интернете что-то я не видел статей, про то чем нужна своя ЛЛМ

Кто-нибуд пробовал себе на комп поставить LLM так, чтобы прям было в кайф и работало под вашу задачу?

Подписывайтесь на Telegram SaaS по Понятиям.