Где Perplexity обошли Claude и ChatGPT
На днях Perplexity выпустили сразу парочку интересных апдейтов. И в обоих случаях они сделали то, чего не делали конкуренты. Достойно внимания.
Search as a Code
Концепт простой: дать агентам возможность не просто отправлять запрос в черный ящик поисковика и получать ответ, а низкоуровнево управлять процессами внутри самого поисковика. Делать это агенты будут через написание кода.
То есть обычно сейчас при запуске deep research агенты запускают кучу сабагентов, которые извращаются с запросами в надежде, что сама поисковая машина даст что-то новое и полезное, дотянется до самых дальних уголков интернета. У этого подхода две проблемы:
- Процесс плохо управляется агентами. Ранжирование ответов, дедупликация, агрегация найденной информации и тд происходит в черном ящике. В процессе теряются те самые "иголки в стоге сена", которые юзеры все чаще надеятся найти через агентов в гигантском интернете
- Такой поиск приводит к излишним затратам токенов, тк агент, пытаясь найти "иголку", отправляет кучу запросов в надежде найти в ответах нужную строчку с информацией. Это просто массированная атака на контекстное окно агента
Perplexity же позволяет агенту писать Python скрипт, который обходит встроенные процессы агрегации, ранжирования и тд. Запросы пишутся не просто текстом, а с тонкой настройкой. К тому же вся оркестрация перекладывается на питоновский скрипт, который в том числе проверяет полученные результаты.
Как итог — ниже косты и выше качество Deep Research почти по всем бенчам 📈
Забавно, что Perplexity позиционирует это как инновацию поискового движка: мол двигаемся от старых монолитов к микроконтролю агентами. А как по мне — так это наоборот спад хайпа бесполезного использования AI для всего подряд и здоровое осознание, что порой эффективнее часть задач все так же выполнять обычными скриптами 😈
Лайфхак — отправьте статью перплексити про Search as a Code своему Claude или Codex и попросите внедрить себе аналогичную систему поиска. Энтузиасты говорят, что получается.
Гибридные агентные вычисления
Суть — распределенные вычисления между вашими локальными и облачными ресурсами. Вообще родителем этой идеи, наверное, можно считать Apple с их Apple Intelligence. Но тк они так это дело до толковой реализации не довели, то лавры справедливо забирает Perplexity Computer.
Перплексити в своем "компьютере" сделали оркестратор, который часть вычислений может проводить прямо у вас на локальной машине.
Например, большинство из нас не хотели бы, чтобы на наших медицинских и персональных данных OpenAI дообучал свои модели (а дядя Сэм как раз наоборот — очень этого хочет). В этом случае оркестратор Perplexity произведет часть вычислений с этими данными прямо у вас на компе, а в облако отправит только то, что не получается качественно выполнить локально.
Очевидный минус подхода — оркестратор тоже LLM. Соответсвенно, прежде чем сделать распределение задач — ему нужно оценить, что есть перс данные. Надеюсь, оркестратор будет локальным 😁Ну и, конечно, LLM будет ошибаться, а значит надежным этот сетап нельзя.
Однако есть и бонус помимо приватности — оркестратор поможет также сэкономить токены. Что тоже немало важно. Все это на фоне бодрого развития локального AI и мощных чипов прямо в юзерских ноутбуках (см предыдущий пост).
Итого
Пока OpenAI, Google и Anthropic пилят поляну датацентров, а Маск на них богатеет — параллельно набирает популярность тренд на экономию токенов, уход от централизованных облачных расчетов и сохранение приватности данных.
У AI гигантов появляются нешуточные стратегические риски отдать долю рынка просто локальным опенсорс моделям. Иронично, что риски по природе своей идут от ПК-чипов, которые производят те же компании, кто другой рукой кормят самих AI гигантов чипами и видеокартами для промышленных вычислений. Получается, что настоящий контроль рынка AI — совсем не у OpenAI или Anthropic, а у парня в кожанке из NVIDIA.
Подписывайтесь на Telegram Заместители.