Когда нейросеть на своём компьютере удобнее облачного сервиса

Разбирать письма, вытаскивать реквизиты из документов, раскладывать обращения по темам — для таких задач не всегда нужна большая нейросеть в облаке. Иногда удобнее модель, которая работает прямо на ноутбуке. Но покупать ради этого новый компьютер и переносить туда всю работу рано: сначала стоит понять, какую именно задачу вы хотите ей отдать.

Повод вернуться к этому вопросу дала Liquid AI. 27 октября компания представила семейство LFM3. Его текстовая модель LFM3-1.7B рассчитана на локальные приложения. По данным разработчика, её четырёхбитная версия занимает около 1 ГБ памяти. Это размер сжатой модели, а не обещание, что всему приложению с длинными документами хватит одного гигабайта.

LFM3 — семейство моделей для разных типов данных: текста, изображений, звука и их сочетаний. Это не одна универсальная программа размером в гигабайт. Если нужен разбор писем, речь о текстовой версии; для работы с изображениями или голосом выбирают другую.

Идея разработчика — небольшую модель можно приспособить к определённой задаче и запускать там, где работает приложение. Для бизнеса вопрос звучит проще: какие повторяющиеся операции удастся выполнять на уже имеющемся компьютере?

Небольшое агентство получает заявки на дизайн. В каждом письме нужно найти имя клиента, тип работы и срок, затем подготовить карточку для сотрудника. Большая часть писем похожа: «Нужен лендинг к пятнице», «Сколько стоит упаковка?», «Хотим обновить презентацию».

Это подходящий сценарий для проверки небольшой модели. Ей не нужно придумывать маркетинговую стратегию. Нужно извлечь несколько полей и честно отметить, если срок или бюджет не указаны.

Если такая обработка выполняется локально, текст можно разбирать без отправки на сервер модели. Однако это свойство всей настроенной системы. Почтовое приложение, расширения, журнал ошибок или подключённый поиск всё ещё могут обращаться в интернет. Сам факт установки нейросети на компьютер этого не отменяет.

Для агентства польза станет понятна, когда сотрудник начнёт тратить меньше времени на сортировку, сохраняя возможность быстро исправить неверную карточку. Размер модели сам по себе ничего об этой пользе не говорит.

В карточке LFM3-1.7B разработчик прямо не рекомендует её для сложных многошаговых рассуждений и агентной разработки программ. Для выбора задачи это существеннее места в общей таблице тестов.

Вернёмся к письмам. Найти дату и название услуги — одна задача. Разобраться, почему клиент недоволен шестимесячным проектом, сопоставить переписку с договором и предложить выход из конфликта — другая. Вторую нельзя считать решённой лишь потому, что первая работает хорошо.

Есть и менее заметная граница: русский язык. Он указан среди поддерживаемых языков, но качество вашей деловой переписки придётся проверить отдельно. В ней могут встретиться сокращения, опечатки и выражения вроде «давайте после праздников», из которых нельзя уверенно получить точную дату.

У локального запуска нет обычного счёта облачному провайдеру за каждый обработанный текст. Вместо него появляются другие расходы: настройка приложения, занятая память, нагрузка на компьютер и время человека, который разбирается с ошибками.

Если помощник нужен изредка, настройка может оказаться дороже удобного облачного сервиса. Если он постоянно выполняет одну и ту же операцию на уже имеющемся оборудовании, локальный вариант становится интереснее. Это повод посчитать расходы на своей нагрузке, а не заранее объявлять победителя.

Облачную сторону сравнения можно начать с каталога provod.ai: сервис показывает доступные API-модели и цены в рублях. Для проверки достаточно обезличенных примеров писем. Пересылать туда конфиденциальную переписку ради сравнения не требуется.

Открытая загрузка модели тоже не равна отсутствию условий использования. Перед рабочим внедрением нужно прочитать её лицензию; ссылка есть в карточке LFM3.

Для агентства из нашего примера полезен небольшой пробный набор: обычная заявка, письмо без срока, несколько услуг в одном обращении, отмена заказа, сообщение с опечатками. Сначала сотрудник сам заполняет правильные карточки. Затем те же письма получает модель.

Сравнивать стоит три вещи: сколько карточек можно принять без исправлений, сколько времени уходит на проверку и что происходит на неоднозначном письме. Пустое поле с пометкой «срок не указан» лучше уверенно придуманной даты.

Следом проверьте работу на том компьютере, где помощник останется: вместе с почтой, браузером и видеозвонком. Скорость на свободном ноутбуке не покажет, насколько удобно будет пользоваться им в течение дня.

Нейросеть на своём компьютере удобнее облачной там, где есть повторяющаяся задача, понятный результат и причина обрабатывать данные локально. Облако удобнее, когда важнее быстро начать, решать разные задачи и не обслуживать приложение самостоятельно.

В нашем агентстве граница проходит между подготовкой карточки заявки и решением, что предложить клиенту. Первую операцию можно описать и быстро проверить. Вторая требует более широкого контекста. Разделив их, проще выбрать полезный способ применения LFM3, не пытаясь сразу заменить всю работу с почтой.