Как решить техническую проблему медицинской компании за 4 часа с перерывом на кофе
Недавно у нас случился целый медицинский детектив в духе Доктора Хауса. О том, как мы “лечили” систему клиента, проводя диагностику проблемы, мягко говоря, не самым привычным способом, читайте в этом кейсе.
Почему на других объектах не было такой проблемы, на этом нагрузка оказалась значительно больше?
Странно, что сбой сетевого подключения (в связи с лимитом на файловые дескрипторы) не давал выраженной ошибки в логи, за исключением визуального эффекта?
Да, всё верно, на этом объекте нагрузка была выше, заказчик обозначил это на первом же созвоне.
По поводу второго вопроса: дело не в лимите на файловые дескрипторы, об этом нигде не шла речь. Недостаток воркеров был проблемой. В итоге копилась огромная очередь, а воркер не успевал обрабатывать запросы.
Ну и ещё одна предпосылка возникновения проблемы — отсутствие постоянного подробного мониторинга, о необходимости которого мы говорим все 15 лет существования нашей компании :-)