Личный AI-поисковик по базе знаний Obsidian - быстро и без разработки
Привет! В феврале я писал статью про внедрение AI в свою базу знаний. На тот момент я думал о том, как GPT может помочь мне лучше ориентироваться в 3000+ заметках, чаще их использовать и генерировать новые идеи. Этой статьёй я пишу небольшой апдейт - одно решение, которое сильно упростило поиск по базе знаний.
Что изменилось?
- Моя база знаний с тех пор превратилась в полноценный личный поисковик без особых дополнительных настроек и установок локальных LLM. Про это будет дальше.
- Токены стали дешевле, а модели быстрее. Я практически перестал ощущать стоимость запросов по API к своим заметкам, один раз закинул 5$ и больше не вспоминаю.
- Почти перестал пользоваться GPTs по моей базе знаний (это когда я выгрузил основные заметки и загрузил их PDF-файлом в GPTs). В редких случаях - если требуется провести какой-то глубокий ресёрч по теме, поговорить со своей базой знаний. Обычно хватает того, что я нахожу нужную заметку и перечитываю её.
Как это работает?
Визуально - довольно просто:
- У меня открыт и включен плагин Smart Connections (это плагин, который с прикрученным API LLM ищет связи между заметками)
- Я создаю новую фиктивную заметку и вместо названия пишу запрос. Например, "книги про менеджмент", "как провести стратсессию", "мои мысли про ведение базы знаний" или "что я писал про внедрение привычек". Пример - ниже.
- Плагин ищет похожие заметки - ранжирует результаты по релевантности.
- Я просматриваю весь список - по названиям я обычно вспоминаю о чём заметка, открываю нужные и дальше уже хожу по графу и копаюсь глубже.
- Дальше иду смотреть в локальные графы и изучать заметки по теме. Включается стандартный ресерч по базе знаний:
К чему я пришёл во время использования плагина:
- Да, я не получаю готовый ответ с цитатой из своей заметки. Но мне это и не нужно - обычно я хорошо ориентируюсь в заметках, которые сам писал и считаю, что AI тут избыточен. Иногда полезно включать память и мозг :)
- Мне важно вспомнить про старую заметку и идею, а с этим как раз помогает плагин с AI-поиском. Особенно если заметок много и база знаний ведётся долго.
- На всякий случай я сложил заметки с психотерапии, коучинга, рабочие и личные дневничковые записи в отдельную папку и не индексирую их. Ну, просто потому что.
А теперь - к настройке.
Гайд по настройке
Как уже писал, вся система работает на плагине Smart Connections и API ключе Chat GPT. Нужна будет карта не российского банка (для оплаты токенов) и VPN для разового входа в openai.com
I. Получаем токен
- Переходим и залогиниваемся на platform.openai.com
- В профиле переходим в раздел: Settings → Your profile → User API Keys
- Создаем новый ключ, называем его как удобно и обязательно сохраняем
- Пополняем баланс в разделе Billing - насколько понимаю, Open AI сейчас даёт пользоваться API только с пополненным счётом. Раньше было не так
- Тут же в кабинете можно поставить лимиты на использование токенов (чтобы в один день всё случайно не потратить, хотя риски минимальны)
Готово, переходим к настройкам в Обсидиан.
II. Настраиваем плагин
- Устанавливаем плагин "Smart Connections" в Obsidian из плагинов сообщества.
- Переходим в настройки плагина, выбираем модель Open AI в двух полях и добавляем ключ Open AI (OpenAI API Key for embeddings):
Готово! Плагин должен работать.
Что можно добавить
- Да, это не на 100% удобное решение и точно с ровными руками уже сегодня можно подключить какую-нибудь локальную LLM к базе знаний. Но, к сожалению, мне по-прежнему лень и я жду более изящного и простого решения. А плагин покрывает 90% кейсов моих обращений к базе знаний.
- Smart Connections по прежнему классно показывает связанные заметки, а это, все-таки, в заметковедении первично: старые заметки больше не забываются и возвращаются в память в нужные моменты.
Апдейт ноября 2024 года. Записал видео о том, как это всё работает дальше на практике:
Если вам интересно читать про управление знаниями и собой - я веду телеграм-канал. Буду рад вас там видеть.
Мои посты на тему: