Диалоги с ИИ в Google, локальные модели и немного паранойи
или почему я всё чаще задумываюсь об оффлайн-LLM
Стал смотреть в сторону локального запуска моделей. Не из-за хайпа, а скорее из-за недоверия.Причина - не сами технологии, а то, как с ними обращаются.
Облако это удобно. Но публично, если не уследил
Недавно в Google начали всплывать реальные диалоги пользователей с Grok и ChatGPT.Обычные ссылки на чаты, которые кто-то где-то засветил. Google их подхватил - и вот, они уже в выдаче. OpenAI убирали из индекса ~50 000 ссылок на публичные диалог, они подчистили Google, но забыли про Archive.org.А там всё ещё висят штуки с логинами, ключами, приватными планами.
Анализ показал: из 512 чатов 20% содержали явно конфиденциальную информацию.
Поделился ссылкой? Потерял контроль
Даже если вы делитесь диалогом «только внутри команды» - дальше всё по классике:
- может попасть в Google
- сохраниться в Archive
- быть расшаренной кем угодно
- остаться в кэше навсегда
Почему вообще об этом думаю
Планирую собрать поделку: связать LLM и Obsidian.А в Obsidian у меня почти всё личное - от заметок до чувствительных штук.
И вот тут уже важно, чтобы данные не утекали наружу, даже случайно. Поэтому и смотрю в сторону локального inference - без облаков, логов и внешнего API.
🎁 Бонусы
🧮 LocalScore.aiСервис, который показывает, какие LLM потянет ваша видеокарта. Удобно, если хотите запускать модель у себя - а не в чьём-то дата-центре.
🔑 ai-keys-leaks.begimher.comИщет утёкшие API-ключи от OpenAI, Claude, Gemini и других.Не факт, что что-то сработает — 99% ключей мёртвые. Но наличие таких баз говорит о многом.
Я не стал параноиком. Но теперь всё, что потенциально приватно — я не пишу в облако.Потому что модель забудет, а интернет - нет.Если тебе близка тема ИИ, агентных систем и ты хочешь быть в числе тех, кто не просто читает новости, а сам их делает - залетай в мой Telegram-канал debug_leg.