Москва в продакшене: семейный релиз с багами, алертами и любовью
Иногда, чтобы понять, как устроен прод, нужно выйти из-за монитора. После пары недель плотных релизов я наконец закрыл все задачи, убедился, что Flink жив, Kafka не тонет, а метрики ровные — и в воскресенье нас, слегка одичавшего айтишника, вынесло в продакшен под названием «Москва».
Супруга создала новый тикет: “Пойдём гулять в центр.” Таска конечно принята, команда синхронизирована, CI/CD настроен — поехали.
Ниже в 10 картинках будет всё проиллюстрировано (можно пролистывать:) ) Ах да, немного про себя я Директор по управлению портфелем проектов, ну или кратко ДПУПП и занимаюсь я как ни странно разработкой ПО для финтеха и банкига.
Больше интересных статей и аналогичного контента в канале
Load test на ограждении не прошёл сертификацию
Младший решил проверить устойчивость цепи у Вечного огня. Офицер Росгвардии подошёл спокойно, с человеческим latency и пониманием SLA. Сделал замечание без агрессии — просто как опытный SRE, видящий, что система слегка перегружена. И я поймал мысль: если бы все инциденты разбирали с таким уважением,то аптайм человечества давно был бы 100%.
Event stream overloaded
У Царь-колокола дети решили проверить акустику.Результаты теста — успешные: эхо стабильно возвращается, вместе с охраной.
“В Кремле так не тестируют,” — заметил офицер с улыбкой. Пожалуй, лучший фидбэк за неделю.
Sensor event: near miss
В Оружейной палате старший дотронулся до витрины с яйцами Фаберже —сработала сигнализация, monitoring в норме. Младший шепчет:
— Пап, это алерт?
— Да, сынок. P1. Без права выключить.И ведь всё по делу.
Cascade of incidents detected
Супруга рассказывает детям о старинных каретах и случайно задевает стекло.Сигнализация снова оживает.Я — с видом человека, у которого на проде всё горит, но логов не осталось.Служитель подходит, делает строгое, но доброе замечание.Я киваю с благодарностью.Не все люди в проде токсичны. Многие просто делают свою работу.
Incident closed. System stabilized
К концу дня у детей оставалась одна мотивация — пицца.Но ресторан Новикова встретил нас надписью: “Пиццы нет.” Секунду было ощущение, что всё. Rollback не поможет, но лазанья прошла в прод с первого раза. Система стабилизировалась. Monitoring — зелёный. Команда улыбается.
Postmortem
Иногда, чтобы увидеть архитектуру мира, надо просто выйти из дома. Москва — как продакшен: шумная, непредсказуемая, но настоящая, а люди — как хороший код: кто-то строг, кто-то добродушен, но все стараются, чтобы система не падала.
Мир не идеален, иногда обычный поход в музей превращается в настоящий эпос, в котором больше жизни, чем во всех сериалах про идеальные семьи. Я не пишу сказок — я живу и стараюсь говорить правду, всегда и во всём.
У нас бывают баги, непредвиденные алерты, дети, которые проверяют физику и взрослые, которые забывают перезапустить себя, и это — прекрасно.
Москва — классный город. Живой, внимательный, настоящий. Отдельное спасибо всем офицерам и сотрудникам, которые подходили с пониманием и действовали хоть и согласно регламенту - чётко, но человечно.
P.S. Ох, знали бы вы как мы ходили в Третьяковскую галерею, где все разбираются в живописи, а я просто человек....
---
Ваш ДПУПП. Немного одичавший айтишник, который дебажит семью до стабильной версиии всё ещё любит Москву за её человечный аптайм. @it_underside