"pgbench не бенчмарк" или почему не нужно использовать pgbench для анализа производительности СУБД
В ходе работ по подготовке эпюры производительности СУБД в очередной раз была получена иллюстрация проблем использования среднего арифметического при расчете производительности СУБД .
Результаты pgbench
Первые же результаты , показали несогласованность pgbench (TPS) - с реальными показателями производительности СУБД
Среднее время отклика СУБД
И тут возникает 2 варианта анализа результатов:
1) Если ориентироваться на результаты pgbench, то , при росте количества подключений c 60 до 70 - tps вырос с 12870,870996 до 13294,489494 (+3%)
2) Если ориентироваться на среднее время отклика СУБД , то, при аналогичном росте количества подключений c 60 до 70 - среднее время отклика увеличилось на 100%
Вопрос - как анализировать результаты теста ?
Производительность СУБД растет с ростом нагрузки или нет ?
P.S.
Очередная иллюстрация на тему - ни TPS , ни время отклика - по отдельности не являются метриками производительности СУБД, потому, что не позволяют предсказать и описать реальную картину и получить объективные данные о реальной производительности СУБД .