Взяться нельзя отказаться. Как я внедрял IT-систему на 8000 квартир за 2 месяца. Что получилось, а что пошло не так?

В конце декабря у управляющей компании застройщика “Строим Везде” ломается система сбора показаний. Все, что нарабатывалось в течение 5 лет, утрачено. Полное восстановление должно занять 5 месяцев. В один момент компания лишается автоматического получения показаний по электроэнергии, теплу, холодной и горячей воде на 36 многоквартирных домах.

Представляете, что такое со следующего месяца обойти 8000 квартир для сбора показаний вручную с каждого счетчика? На сбор показаний со всех квартир потребуется 20 человек + неделя времени. Нужно успеть восстановить систему до следующего периода сбора показаний.

Мы созваниваемся с Мишей, моим партнером, который отвечает за продажи.

Миша — прямой человек в общении: если что-то есть, с чем несогласен — сразу скажет. Одна из вещей, которые я вынес из совместной работы с ним — это именно его прямота и спокойная сила

Во время звонка оба понимаем, что настроить и отладить систему на 31 794 счетчика за месяц невозможно. В спокойном темпе это делается за 5 месяцев. Но у нас не было столько времени.

Если мы не закончим за месяц, то управляющей компании придется обходить 8000 квартир и вручную собирать показания.

Надо придумать, как успеть внедрить нашу систему.

Нашей компании Wise 3 года. У нас работы по пилотному проекту: внедряли нашу систему умный дом в 180 квартир. В каждую квартиру мы устанавливали несколько систем:

Система защиты от протечек автоматически перекрывает воду при обнаружении протечки, а жителю и сотруднику управляющей компании отправляется уведомление о том, что затопление предотвращено.

Для меня сдача пилотного проекта — личная история.

Это первое внедрение наших систем и нашего оборудования в многоквартирные дома.

Мы ставим свое оборудование для защиты от протечек — контроллер Wise Leak, датчики протечки и привода перекрытия. Система следит за состоянием мокрых зон и в случае протечки автоматически перекрывает воду, даже без интернета.

Еще один контроллер, который мы разработали для домов — Wise Electro. Он позволяет управлять освещением и розетками.

Открывать и закрывать воду, управлять освещением, розетками и прочими электрическими приборами житель может через мобильное приложение.

Но как у любого уважающего себя стартапа, есть и куча вопросов, которые нам еще предстояло решать.

Буквально за месяц до этого мы расходимся с одним из моих партнеров, который вместе со мной отвечает за IT. Помимо формирования продукта я начинаю отвечать еще и за управление командой разработки бэкенда и всех новых интеграций.

В конце лета я читаю книгу Эви Пумпурас и решаю пойти на борьбу. Оглядываясь назад, могу сказать, что это было одно из лучших решений в моей жизни.

Первое, что делаю для решения проблемы — рассказываю нашим разработчикам про ситуацию и предлагаю всем принять участие во внедрении. Команда откликается, не формально, для галочки, а по-настоящему. Над задачей начинают думать еще 7 человек.

Я делаю план по внедрению, таблицу в Google Drive со статусами, где видно кто и за что отвечает. За каждым домом был закреплен ответственный, обновление статуса происходило 3 раза в день. Такой подход позволил в любой момент иметь актуальную картину и быстро принимать решения.

Это решение сработало. Ощущения у меня — как на парусной яхте, когда внезапно ловишь попутный ветер.

3 недели мы с командой из 7 человек заводим все счетчики управляющей компании к нам в систему. Завели. И внезапно оказалось, что система не вывозит. Мы осознанно не занимались вопросами производительности на начальном этапе.

Первое — нужно собрать общую, но в то же время четкую картину что именно работает медленно и сколько занимает времени. Этим уже можно управлять.

Для этого настроили мониторинг запросов, чтобы видеть сколько измерений в секунду нам прилетает и какой вклад каждой бизнес-функции в нагрузку. Нашли узкие места, приоритезировали.

Далее снимаем дампы с виртуальной машины Java, чтобы изнутри посмотреть на то, чем живет программа в каждый момент времени. Чувствовали себя хирургами.

Нашли проблемные места, локализовали и оптимизировали. Сейчас у нас в секунду идет от 50 до 100 измерений. Запас прочности — x4 с понятной стратегией масштабирования.

Тем временем время сбора показаний начинается через несколько дней.

Первый месяц получения показаний через нашу систему — всю неделю мы напряженно работали, решая оставшиеся проблемы, но показания сняли и отдали управляющей компании.

Ощущение, что мы оторвались от земли, но по-прежнему летим на очень маленькой высоте, периодически еще ударяясь о землю.

На второй месяц после внедрения на решение внештатных ситуаций потребовалась уже неделя. На третий месяц — всего 2-3 дня.

Спустя год после окончания проекта я гулял по одному из ЖК, где мы внедряли нашу систему. В ЖК 17 домов, в каждом доме по 200–500 квартир. И в каждой квартире работает наша система по сбору данных. Даже не верится: наша махина сейчас переваривает уже больше 40 000 датчиков и счетчиков, следит за состоянием системы защиты от протечек, пожарной системой, охраной, а также управляет умными устройствами внутри квартиры.

В конце августа 2023 мы зафиксировали более 1.2 миллиона измерений за сутки. Для сравнения, если каждый день один раз получать показания с многоквартирного дома в 200 квартир, получится всего 800 показаний. Но у нас есть еще и другие системы: пожарная безопасность, охрана, умные устройства внутри квартиры, система защиты от протечек и управление освещением и розетками.

Доводить казалось бы невозможные проекты разработки и внедрения до завершения — то, что меня по-настоящему драйвит. О моей жизни, проектах в IT и находках рассказываю в своем канале в телеге.

Особенно интересны горящие и сложные проекты, что к ним привело и как получается выходить из таких ситуаций?

Сейчас еще изучаю, с какими проблемами в IT сталкиваются люди и компании.

Если столкнулись с горящим проектом и не знаете, что делать — можно спросить у меня @anzuev

На рассказ этой истории меня вдохновила статья Василия Ганова про завод, которую я увидел на VC пару месяцев назад. Я написал ему и мы начали работать вместе. Василий, cпасибо за помощь в подготовке статьи 🙏