Perforator: система непрерывного профилирования от Яндекса

Perforator — это система непрерывного профилирования (continuous profiling), разработанная в Яндексе. Она помогает отслеживать, какие участки кода потребляют ресурсы в продакшене, с минимальной нагрузкой на сервисы. Система уже используется на сотнях сервисов внутри компании, а с недавнего времени доступна как проект с открытым исходным кодом.Проект опубликован под лицензией Apache 2.0, и его можно свободно использовать и адаптировать под собственные нужды.
📦 Репозиторий: github.com/yandex/perforator
📘 Документация: perforator.tech

Профилирование в продакшене позволяет:

Без инструментов профилирования часто приходится опираться на догадки — и почти всегда они ошибочные. Даже опытные разработчики не могут точно предсказать, где и почему расходуются ресурсы. Непрерывное профилирование даёт объективную картину.

Perforator состоит из трёх основных компонентов:

Сбор происходит с помощью perf_event_open, а раскрутка (unwinding) — через DWARF-CFI. Символизация работает по формату GSYM, разработанному в рамках LLVM-проекта.

Система поддерживает масштабирование до тысяч машин и миллионов сэмплов в сутки.

Perforator поддерживает профилирование даже в сборках:

Для этого используется:

Также можно использовать --frame-pointer=all на этапе компиляции, чтобы упростить анализ.

Собранные профили можно экспортировать в формат, пригодный для использования в компиляции с флагами -fprofile-sample-use (для Clang) или -fauto-profile (для GCC). Это позволяет ускорить приложение на 5–15% без изменений в исходном коде — за счёт переупорядочивания кода, inlining и других оптимизаций.

Подробнее: SamplePGO в LLVM

Perforator позволяет собирать профили по сегментам: например, включить сбор только для группы пользователей с новым фичефлагом или новой версией сервиса. Это даёт возможность объективно сравнить поведение и нагрузку между версиями.

Сегментация настраивается через метки и фильтры в конфиге агента или через Kubernetes-метки.

Perforator умеет собирать стек вызовов при падении процесса (например, при SIGSEGV, SIGABRT и других авариях), без создания полноценного core dump. Это полезно, если full core dump запрещён или слишком тяжёлый.

Minicores сохраняются в S3 и отображаются в интерфейсе почти мгновенно. Для каждой аварии видно:

Интерфейс Perforator позволяет:

Каждый прямоугольник на flamegraph — это функция. Чем шире блок, тем больше ресурсов она потребляет. Цвета помогают быстро находить «горячие» зоны и понимать, куда уходит CPU.

sudo perforator record -a --duration=60s

Через минуту откроется flamegraph с результатами. Можно профилировать любой запущенный процесс, а не весь хост.

Perforator поддерживает полноценную установку в Kubernetes-кластере. Доступен официальный Helm-чарт. В нём можно развернуть:

🔗 Инструкция по установке

На практике Perforator потребляет:

Внутри Яндекса система масштабируется на тысячи машин и обрабатывает миллионы сэмплов в день. Хранилище работает на ClickHouse, что позволяет быстро делать агрегации и сравнения.

Perforator — это зрелый инструмент, проверенный в продакшене Яндекса. Он обеспечивает:

Если вам нужно понять, где реально расходуется CPU, и сделать это в продакшене — Perforator даёт такую возможность.💡 Нужна помощь в настройке Perforator, профилировании сервисов или оптимизации высоконагруженной инфраструктуры?
Мы поможем внедрить непрерывное профилирование, выявить узкие места и повысить производительность ваших систем — без остановки сервисов и с реальным эффектом на ресурсоёмкость.
#itforprof #profiling #observability #perforator #performance #devops #ebpf #linux #infrastructure #optimization #cloudnative #systemdesign #autofdo #samplepgo #clickhouse #yandex #opensourcetools