Сделай Сам: ИИ-ассистент за пару дней на коленке для себя и бизнеса. Часть №1

Готовы за пару дней сконструировать собственного виртуального ИИ-помощника на базе документации компании, который будет отвечать на вопросы, помогать с ответами и легко дополняться? Я покажу, как это сделать!

В первую очередь статья будет интересна разработчикам, которые начали погружаться в тему Natural Language Processing или которых захватил ChatGPT, Claude или Gemeni (про Сайгу, Орку, Мистраль и зоопарк других моделей мы поговорим немного позже) и они в поиске способов интегрировать LLM в бизнес или заказчикам. Так же будет интересно поиграться с результатом и начинающим разработчикам - от использования в чат-ботах до умного поиска на сайтах, группах и каналах.

В результате нашей с вами совместной работы должен получиться продукт - открытый или закрытый, который можно использовать в качестве ИИ-ассистента или ИИ-консультанта по любой документации, которую вы ему "скормите". Некоторые моменты буду опускать и не вдаваться в подробности реализации, но не настолько, чтобы терялся смысл и у вас возникли сложности с восстановлением логических цепочек по примерам.

По ходу реализации проекта буду раскрывать подробности тех или иных нюансов и давать вам пищу для размышлений и изучения.

Несколько скриншотов того, что получилось у меня (сразу скажу, что если делать без интерфейса, например, открывая только публичный API, то это может сильно сократить общее время реализации проекта - именно так мы с вами и поступим в этой статье):

Использовавшиеся мной в проекте выше:

То, что будем использовать сейчас:

Если вы испугались таких длинных списков, то спешу вас успокоить - установка и базовая настройка этого всего будет значительно проще, если следовать пошаговым инструкциям.

Теперь немного о каждом из используемых ингредиентов:

Теперь пора подняться на пару уровней выше и понять, как все эти компоненты будут между собой взаимодействовать:

Долгими были мои мучения при работе с CentOS 7-8, а когда коллеги из Oracle обрадовали новостью о прекращении поддержки и развития, то пришлось выдохнуть и начать присматриваться к какому-то другому дистрибутиву для работы.

Выбор пал на Ubuntu 22 по чистой случайности и подписи "Machine Learning" + LTS. За рекламу мне Selectel не платит, а мог бы 💁

Радости моей не было предела, когда вся настройка и конфигурация была завершена без танцев с бубнами за пару часов.

На тест и демо-проект нам будет достаточно 1-2 vCPU и 4+ GB RAM. Можем взять SSD на 15 GB и этого тоже должно хватить на первые тестовые запуски и проверки. Если планируете запускать проект в массы, то обратите внимание, что Elastic и RabbitMQ очень любят кушать память и её нужно будет увеличить, а так же изменить ряд настроек по-умолчанию для Elastic с её прожорливой JVM.

ОС поставили. Рекомендую выполнить все стандартные шаги для обновлений:

С первым шагом закончили.

Nginx - потрясающий инструмент. Использовал у себя в качестве proxy, а сейчас его поставим и настроим на тот случай, если захотите раздавать во вне API проекта.

Устанавливаем Nginx:

Чтобы Nginx заработал корректно и с портами не было проблем стоит воспользоваться новой утилитой в Ubuntu - ufw.

Получим список заранее известных утилите конфигураций с которыми она умеет работать из коробки:

Вывод будет похож примерно на такой:

Что они значат:

Нам нужен первый вариант - это с учетом того, что сервис будем вешать на какой-то домен и на него же потом ставить SSL сертификат через Lets Encrypt или любой другой сервис.

Проверяем статус:

И получаем примерно такой вывод:

Проверим статус Nginx:

Вывод примерно такой:

Nginx работает и настроен из коробки.

Теперь найдём конфигурационный файл в `/etc/nginx/nginx.conf` и приведём его к вот такому виду (за исключением всего, что касается SSL - этот дополнительный код сгенерировал cert-bot при установке и настройке SSL-сертификата от Lets Encrypt):

Можем закинуть в нашу root-директорию index.html файл для проверки и открыть http://[наш IP адрес]. Если страница открывается - отлично, всё сделано правильно. Если страница не открывается - перепроверяем настройки, пути, код ошибки.

Рекомендуемая инструкция на DigitalOcean.

Оптимальный вариант производить установку NodeJS через nvm (node version manager) - позволит удобно управлять версиями используемой node, удалять, переустанавливать.

Устанавливаем nvm:

Применяем:

Проверим список доступных версий:

И установим нужную нам:

Чтобы убедиться, что установка прошла корректно и мы установили 20 версию:

Если всё прошло без ошибок, то установленную версию сделаем версией по-умолчанию:

Рекомендуемая инструкция на DigitalOcean.

В этот раз идём на официальный сайт RabbitMQ и находим вот этот раздел со способами установки RabbitMQ - Installing on Debian and Ubuntu. Нас интересует подраздел Cloudsmith Quick Start Script.

Продублирую его полностью ниже:

Его необходимо сохранить в какой-то *.sh скрипт и запустить на выполнение. После установки проверим статус сервера командой:

И в ответе будет что-то подобное:

Сервер успешно запущен и работает.

Ссылка по-умолчанию для подключения к серверу:

Если мы в РФ и наивно решим скачать ElasticSearch с официального сайта без VPN или proxy, то нас ждёт разочарование:

Добрые ребята (ссылки, к сожалению, не помню) скачали все версии и выложили на своём сайте, а я делюсь с вами ссылкой на Яндекс.Диске - ElasticSearch 8.11.2.deb пакет.

Установка из deb пакета оказалась идеальным вариантом, если учитывать тот факт, что все другие способы были заблокированы.

Спасибо ElasticSearch за то, что доступ к документации оставили без proxy или vpn.

Установка ElasticSearch из deb пакета:

Ссылка по-умолчанию для подключения к серверу:

Для проверки корректной установки можно выполнить две команды:

или воспользоваться curl и отправить запрос на адрес подключения:

Получив примерно такой ответ:

Подробная инструкция по установке из deb пакета на сайте ElasticSearch.

Установка MySQL 8 никаких трудностей не составляет:

Проверяем статус:

После установки необходимо произвести конфигурацию:

В процессе конфигурации будут заданы несколько вопросов про root, пароль, временные таблицы - внимательно читаем вопросы и отвечаем. Пароль сохраняем себе, не теряем.

В этой части я опущу создание выделенного пользователя с ограниченным набором прав - для нашего примера это не критично.

На этом шаге наша с вами задача подготовить окружение NodeJS таким образом, чтобы мы могли обрабатывать запросы, выполнять над ними действия, подключаться к RabbitMQ и ElasticSearch, вычислять эмбеддинги и прочее.

Приведу свой package.json файл:

Некоторая часть из этого списка нам не нужна будет, оставляем только то, что пригодится для этого демо-проекта. Результат будет таким:

Выполняем команду установки в директории, которой находится package.json:

После установки в этой же директории появятся node_modules и package-lock.json

🙌 Примечание: если вы знаете, что такое PM2, то можете его установить и настроить через файл ecosystem.conf для запуска приложения. Если не знаете, то можете поискать в Google или спросить ChatGPT.

Конец первой части.

Во второй части мы с вами:

Если подобные серии статей вам интересны, то обязательно ставьте лайк и подписывайтесь на мой блог на vc.ru

Возможно у вас есть идея или задача в бизнесе, которую, как вам кажется, может решить ИИ-консультант / ИИ-ассистент / ИИ-всезнайка и вы хотите такое решение видеть у себя - напишите мне в телеграм @aashmig и мы обсудим подробности реализации и условия.

Берегите себя и свои модели 🫶

Ваш, Разработчик в бизнесе 👨🏻‍💻