Как я сделал фичу из Galaxy S24 Ultra на любом старом Android за одни выходные (и почему это стоило 0 рублей)

Circle to Search
Circle to Search

Пока Google и Samsung продают функцию «Circle to Search» (поиск по экрану) как эксклюзивную фишку новых флагманов за 100+ тысяч рублей, я решил восстановить справедливость. За одни выходные я написал аналогичного ИИ-помощника, который работает на любом Android-смартфоне, не требует VPN и полностью бесплатен.

Знакомьтесь: «ПОЧЕМУ?» — легковесный оверлей-ассистент с открытым исходным кодом.

В чем боль?

Раньше, чтобы распознать или перевести что-то на экране смартфона через ИИ, нужно было пройти целый квест:

  1. Делаешь скриншот.
  2. Сворачиваешь приложение.
  3. Открываешь ChatGPT / Copilot / Переводчик.
  4. Загружаешь скриншот, пишешь промпт, ждешь.

Наш ассистент делает то же самое в одно касание поверх любого открытого приложения:

  • Шаг 1: Зажимаешь кнопку «Домой» (или делаешь свайп с угла экрана для вызова ассистента).
  • Шаг 2: Поверх текущего экрана вылетает шторка.
  • Шаг 3: Нажимаешь кнопку «Что на экране?».
  • Шаг 4: Нейросеть мгновенно разбирает картинку и выдает ответ прямо поверх приложения.

Как это устроено под капотом?

Чтобы проект оставался абсолютно бесплатным для пользователей, я скомбинировал несколько интересных технологий:

  1. Android VoiceInteractionSession API — системное решение, позволяющее приложению-помощнику легально делать скриншот экрана только в момент ручного вызова (пользователь полностью контролирует приватность).
  2. Models — обработка запросов идет через облачные мультимодальная модель ИИ.
  3. Локальная векторная база (36 МБ) — в APK вшита база знаний для ответов на базовые вопросы без интернета.
  4. Кастомный тон общения — от нейтрального до дерзкого «Нейрохама», который комментирует ваш экран с жесткой иронией.

🚀 Давайте тестировать!

Я собрал APK-файл и залил его на свой Google Диск. Никаких переходов на страницы предпросмотра с предупреждениями — прямая ссылка на скачивание:

👉 https://clck.ru/3UuGaL
🦠 VirusTotal: 0/66
https://clck.ru/3UuGaL

Интерактив: Назначайте «ПОЧЕМУ?» ассистентом по умолчанию в настройках системы, тестируйте в разных приложениях и кидайте в комментарии скриншоты самых смешных или удивительных ответов нейросети! Буду рад фидбеку и новым идеям.

11