Личный AI-поисковик по базе знаний Obsidian - быстро и без разработки
Привет! В феврале я писал статью про внедрение AI в свою базу знаний. На тот момент я думал о том, как GPT может помочь мне лучше ориентироваться в 3000+ заметках, чаще их использовать и генерировать новые идеи. Этой статьёй я пишу небольшой апдейт - одно решение, которое сильно упростило поиск по базе знаний.
Что изменилось?
- Моя база знаний с тех пор превратилась в полноценный личный поисковик без особых дополнительных настроек и установок локальных LLM. Про это будет дальше.
- Токены стали дешевле, а модели быстрее. Я практически перестал ощущать стоимость запросов по API к своим заметкам, один раз закинул 5$ и больше не вспоминаю.
- Почти перестал пользоваться GPTs по моей базе знаний (это когда я выгрузил основные заметки и загрузил их PDF-файлом в GPTs). В редких случаях - если требуется провести какой-то глубокий ресёрч по теме, поговорить со своей базой знаний. Обычно хватает того, что я нахожу нужную заметку и перечитываю её.
Как это работает?
Визуально - довольно просто:
- У меня открыт и включен плагин Smart Connections (это плагин, который с прикрученным API LLM ищет связи между заметками)
- Я создаю новую фиктивную заметку и вместо названия пишу запрос. Например, "книги про менеджмент", "как провести стратсессию", "мои мысли про ведение базы знаний" или "что я писал про внедрение привычек". Пример - ниже.
- Плагин ищет похожие заметки - ранжирует результаты по релевантности.
- Я просматриваю весь список - по названиям я обычно вспоминаю о чём заметка, открываю нужные и дальше уже хожу по графу и копаюсь глубже.
- Дальше иду смотреть в локальные графы и изучать заметки по теме. Включается стандартный ресерч по базе знаний:
К чему я пришёл во время использования плагина:
- Да, я не получаю готовый ответ с цитатой из своей заметки. Но мне это и не нужно - обычно я хорошо ориентируюсь в заметках, которые сам писал и считаю, что AI тут избыточен. Иногда полезно включать память и мозг :)
- Мне важно вспомнить про старую заметку и идею, а с этим как раз помогает плагин с AI-поиском. Особенно если заметок много и база знаний ведётся долго.
- На всякий случай я сложил заметки с психотерапии, коучинга, рабочие и личные дневничковые записи в отдельную папку и не индексирую их. Ну, просто потому что.
А теперь - к настройке.
Гайд по настройке
Как уже писал, вся система работает на плагине Smart Connections и API ключе Chat GPT. Нужна будет карта не российского банка (для оплаты токенов) и VPN для разового входа в openai.com
I. Получаем токен
- Переходим и залогиниваемся на platform.openai.com
- В профиле переходим в раздел: Settings → Your profile → User API Keys
- Создаем новый ключ, называем его как удобно и обязательно сохраняем
- Пополняем баланс в разделе Billing - насколько понимаю, Open AI сейчас даёт пользоваться API только с пополненным счётом. Раньше было не так
- Тут же в кабинете можно поставить лимиты на использование токенов (чтобы в один день всё случайно не потратить, хотя риски минимальны)
Готово, переходим к настройкам в Обсидиан.
II. Настраиваем плагин
- Устанавливаем плагин "Smart Connections" в Obsidian из плагинов сообщества.
- Переходим в настройки плагина, выбираем модель Open AI в двух полях и добавляем ключ Open AI (OpenAI API Key for embeddings):
Готово! Плагин должен работать.
Что можно добавить
- Да, это не на 100% удобное решение и точно с ровными руками уже сегодня можно подключить какую-нибудь локальную LLM к базе знаний. Но, к сожалению, мне по-прежнему лень и я жду более изящного и простого решения. А плагин покрывает 90% кейсов моих обращений к базе знаний.
- Smart Connections по прежнему классно показывает связанные заметки, а это, все-таки, в заметковедении первично: старые заметки больше не забываются и возвращаются в память в нужные моменты.
Апдейт ноября 2024 года. Записал видео о том, как это всё работает дальше на практике:
Если вам интересно читать про управление знаниями и собой - я веду телеграм-канал. Буду рад вас там видеть.
Мои посты на тему:
А как считаешь, фундаментально: такой подход к выгрузке мыслей не «укорачивает» ли нейронные связи в мозгу? Типа перенесли всё на комп, там есть, значит запоминать ничего не нужно, а новые идеи обычно рождаются на стыке чего-то одного с другим... а тут всё выгрузилось и родиться получается нечему...
Мне кажется, не укорачивает, а наоборот - часто компенсирует ограничения нашего мозга. У меня работает как-то так:
- перенес на комп
- перестал тревожиться о том, что что-то может забыться (у меня это был главный триггер заведения базы знаний - читал/узнавал многое, а применял на практике мало)
- освободил пространство для новых идей
- новая идея возникает - AI помогает находить неочевидные связи с другими идеями и заметками. Я вообще думаю, что тут с AI происходит какой-то большой хак кривой забывания. Потому что мало просто записать заметку - её нужно вовремя достать и применить, а про это весь Цеттелькастен :)
Основной вопрос - действительно ли всё нужно помнить :D
Мне друг года 3 назад рассказал про обсидиан, я чет пытался внедрить в жизнь, но быстро забил. Вот ты, например, какую ценность получаешь от наличия такой базы знаний? В чем она тебе помогает? Каким образом твоя жизнь становится лучше от нее?
У меня нет готового ответа, чувствую, что только через лет пять напишу статью-осознание, когда пользы от базы знаний будет ещё больше :) скриньте.
Сейчас бегло могу обозначить несколько направлений:
- Это помогает рефлексировать. База знаний - это как бесконечный диалог с самим собой. 550 дней ежедневных заметок показали, что я люблю пережевывать какие-то мысли по кругу, и база знаний мне это подсвечивает и как будто говорит "ты уже про это думал, посмотри под другим углом".
- Это помогает не забывать какую-то инфу и, как выше писал, меньше тревожиться от этого. Банально - чувствую себя умнее от этого. Часто, когда думаю над какой-то рабочей задачей - обращаюсь в базу знаний и нахожу там источники для идей или to-do с какого-нибудь курса.
- Мне просто прикольно. И это, наверное, главное - без этого база знаний не заработает, думаю. У меня в тесте Клифтона одна из сильных сторон - Input. Думаю, в этом ответ на вопрос "как жизнь становится лучше": "У вас есть потребность собирать и архивировать. Вы можете накапливать информацию, идеи, артефакты или даже отношения."
ну вот у меня примерно те же ощущения)
Никита, спасибо, что поделился. Я, по-прежнему, в восхищении твоей базой в 3000 заметок и связями между ними
т.е без регистрации нельзя использовать плагин?