LM Studio: как бесплатно работать с ИИ-моделями локально, подключать их к Telegram-ботам и другим сторонним сервисам
Без интернета и смены IP-адреса.
Для чего используют LM Studio
- LM Studio — движок для запуска языковых моделей на личном компьютере. После установки с ними можно «общаться» через чат-бота бесплатно и без подключения к интернету. Все данные хранятся локально, а не на сервере разработчика модели.
- В LM Studio также есть режим разработки. Нейросети можно бесплатно подключить, например, к ботам в Telegram, макросам в Excel или собственным приложениям, добавив ссылку на локальный сервер в код — у сторонних компаний не будет доступа к данным.
Как начать работу
- Нужно скачать программу с официального сайта. Есть версии для Windows и Mac.
- Затем выбрать модель. На платформе доступны нейросети от крупных компаний, которые те добавили официально. LM Studio также интегрирована с Hugging Face — можно скачивать все размещённые там модели от частных разработчиков. Они ранжируются по числу скачиваний, рейтингу и дате выхода.
Модели можно искать по значку лупы
Какие официальные модели доступны
- gpt-oss-120b и gpt-oss-20b. «Рассуждающие» модели от OpenAI. Первая работает на уровне o4-mini, вторая — на уровне o3-mini, уступая, согласно тестам компании, последней GPT-5. Они весят 62 и 12 ГБ соответственно.
- Gemma 3. Облегчённая модель от Google. Есть версии на 4, 8 и 16 ГБ. Превосходит o3-mini в программировании, как заявляют разработчики, но она не отображает свои «мысли» и часто переходит на английский язык.
- Qwen 3. В пользовательском рейтинге на LMArena модель от Alibaba занимает 18 место, уступая последней DeepSeek V 3.2. Разные версии весят от 2,5 до 17 ГБ. Есть Qwen 3 VL для анализа изображений — на 19 ГБ.
- Magistral. «Рассуждающая» модель от французского стартапа Mistral. Весит 15 ГБ. В тестах показывает себя лучше DeepSeek V 3.2. Самой DeepSeek V 3.2 официально в LM Studio нет. Есть DeepSeek-R1-052 на 5 ГБ.
Модель gpt-oss-20b
- Это квантованные, сжатые версии — они оптимизированы для работы на пользовательских устройствах. Если модель слишком «тяжёлая» для компьютера, система подсветит её красным.
Как развернуть и настроить нейросеть
- Если вес модели подходит, её можно скачать, нажав Download. Затем появится опция Load Model, чтобы добавить нейросеть в чат.
- В настройках можно дать кастомные инструкции. Их может быть несколько, и между ними можно переключаться. Также есть выбор максимальной длины ответа и «температуры» — чем больше значение, тем больше модель креативит и отходит от промпта.
- Затем нужно перейти в раздел чатов на панели слева. Модели в LM Studio анализируют документы и изображения, пишут текст и код, но не генерируют картинки и видео.
Пробуем развернуть gpt-oss-20b на игровом ноутбуке
- У gpt-oss можно выбрать один из трёх режимов «рассуждений»: Low, Medium и High. В последнем она может слишком долго «думать», и контекстного окна в итоге не хватит на полноценный ответ.
Модели не хватило токенов, чтобы ответить на вопрос
- Протестировали, как gpt-oss-20b напишет код для мини-игры в шашки. Все фигуры получились белыми. Механика хода работает, но «съесть» противника нельзя.
Разворачивали на Asus Tuf Gaming A15 с 16 ГБ оперативной памяти
Как подключить модель к стороннему приложению
- В LM Studio можно получить ссылку на локальный API-сервер, совместимый с API OpenAI. Она позволит связать бот, сайт или приложение со скачанной моделью и давать ей запросы из этих сторонних сервисов бесплатно, используя мощности компьютера.
- Для этого нужно переключить режим с «Пользователя» на «Разработчика» в нижней части страницы.
Переключились на режим Developer
- Далее выбрать зелёный значок «Разработка» на боковой панели слева. Ползунок Status запускает режим сервера. В настройках нужно включить два ползунка: обслуживание по локальной сети и CORS.
- Ссылку на сервер нужно скопировать — рядом с надписью Reachable at.
- Модель можно подключить, например, к боту в Telegram. Бота создают в @BotFather. Там же система присылает уникальный токен бота.
- Чтобы связать LM Studio и Telegram, в скрипт с настройкой бота нужно добавить ссылку на сервер (например, http://10.0.85.2:1234) и токен бота.
Синим выделены токен и ссылка. Код запускали в VS Code
- Инструкции для бота нужно написать в формате кода в любом доступном редакторе, будь то VS Code, PowerShell на Windows, Cursor. Можно попросить Grok или ChatGPT помочь в написании: описать им текстом, какие действия должен выполнять бот. Вот пример фрагмента кода:
def ask_llm (product_text):
prompt = f"""
Ты — эксперт по созданию карточек товаров для маркетплейсов (Wildberries, Ozon, Яндекс.Маркет).
По кратким характеристикам товара создай полную товарную карточку.
Формат ответа:
Название:
<краткое, привлекательное название>
Краткое описание (2–3 предложения):
<описание>
Преимущества:
- пункт 1
- пункт 2
- пункт 3
SEO-блок (под описание):
<абзац с ключевыми словами>
Вот характеристики товара:
{product_text}
"""
payload = {
"model": "google/gemma-3n-e4b:2",
{"role": "system", "content": "Ты профессионал по генерации товарных карточек."},
{"role": "user", "content": prompt}
],
"temperature": 0.4
- Далее в терминале набираем python и название файла с кодом. Например:
python bot.py
- После этого появится надпись "Bot is polling..." Если ничего не произошло, но терминал не выдаёт ошибку, значит, бот уже запустился и работает в фоновом режиме. Можно дать ему тестовый запрос в Telegram.
- Попробовали сделать Telegram-бота на базе Gemma 3, который генерирует описание товаров для карточек на маркетплейсах. Достаточно прислать в чат нужное наименование.
- Нейросеть будет обрабатывать запрос параллельно — в LM Studio. Там можно следить за выполненными шагами и ошибками. Ответ с описанием придёт в Telegram.
- Автоматизации также можно использовать, например, чтобы сортировать обращения клиентов в таблицах (через CSV), создавать сводки отчётов из файлов на локальном диске или бесплатно править код через подключение к VS Code.
22 комментария