Как внедрять инновации качественно? Риски хранения и обработки данных, этапы внедрения Data Governance и Data Fabric

Вот и подходит к концу 2023-й… Судя по всему, расслабиться и выдохнуть не получится: темпы развития технологий и требования бизнеса продолжают расти, экономику штормит, кроме того, нам пришлось резко развернуться в сторону импортозамещения. Что касается мировых трендов, то, согласно прогнозам IDC, в этом году инвестиции бизнеса в цифровую трансформацию вплотную приблизятся к 50% от общего объема вложений в ИТ. При этом компании оперативно переходят на облачные технологии. К примеру, выручка Yandex Cloud только за первое полугодие 2022 года выросла на 89%. Также, согласно Gartner, IDC и свежему отчету BARC[АЛД(1] , в топе трендов остаются контроль за эффективным и правильным использованием данных, а также AI&ML-решения и Data Fabric.

Перед значительной частью игроков рынка стоит вопрос: как в текущих условиях оперативно — за 1–2 года — провести цифровую трансформацию или хотя бы некоторые ее этапы? Давайте есть слона по кусочкам. Оставим цифровую трансформацию стратегам и CEO, ведь для каждой компании этот процесс уникален, а общие моменты всем давно известны. Лучше поговорим о ее ключевых элементах — внедрении Data Governance и Data Fabric.

11 января 2023 г. из-за сбоя БД упала платформа Notice to Air Missions. В результате около 11 тыс. внутренних авиарейсов в США были отложены или отменены. Казалось бы, сейчас бизнес уделяет максимум внимания безопасности и надежности данных, но… Другой пример: 2 июля 2022 г. обрушилась сеть японского телеком-оператора KDDI. На 86 часов без связи осталась почти треть населения Японии — около 40 млн человек.

Возможно, дело в том, что ИТ — непрофильный бизнес Федерального управления гражданской авиации США и японского оператора связи, поэтому у них нет доступа к лучшим специалистам и технологиям?

Нет, похожие проблемы есть и у признанных лидеров рынка ИТ. 4 октября 2021 г. на шесть часов упал Facebook* и несколько связанных с компанией сервисов, включая Instagram* и WhatsApp. Шесть часов полной недоступности явно превысили все мыслимые SLA и вылились в потерю 99,75 млн долл. для Meta** и 6 млрд долл. лично для Цукерберга. После заявлений на самом высоком уровне из серии «Меры приняты, такого больше не повторится!» уже через четыре дня, 8 октября, случился второй сбой. Эти сервисы снова упали — сначала у пользователей возникли проблемы с загрузкой ленты, а потом и с публикацией постов и сообщений.

У Google дела идут не сильно лучше. 9 августа 2022 г. поисковик около часа был недоступен по всему миру. Сбой затронул порядка 1 400 серверов в более чем 40 странах, включая США, Австралию, Южную Африку, Израиль, некоторые государства Южной Америки, Европы и Азии. Далее последовали новые громкие заявления, что проблемы больше не повторятся, и новые «падения». Чего стоил масштабный сбой YouTube, Gmail и Google Docs 14 декабря 2022 г.! Оказалось, проблема была связана с хранилищем данных, к которому обращалась служба аутентификации пользователей.

На российском рынке сложилась похожая ситуация — к нам регулярно обращаются компании с аналогичными кейсами. Зачастую только регулярные сбои и проблемы мотивируют бизнес наводить порядок в ИТ-инфраструктуре.

Может быть, все дело в третьем законе Паркинсона:

Действительно, современные системы становятся все сложнее, а объем данных и нагрузка растут по экспоненте. Ответом на эти вызовы становятся Data Governance и Data Fabric. Эти технологии и подходы призваны обеспечить контролируемость данных, а также гибкость и универсальность процессов сбора, хранения и использования информации.

Тем не менее, по данным McKinsey, только 20% компаний смогут успешно провести цифровую трансформацию. Схожая статистика сопровождала бум Big Data. Тогда весь мир ринулся в эту сторону, еще не осознавая, что делать с этой информацией, как ею управлять, монетизировать и отслеживать ее качество. Многие Data Lake превратились в болота, а ML-проекты так и не смогли взлететь из-за проблем с качеством и доступностью данных.

Все эти проблемы актуальны и для проектов, связанных с Data Governance и Data Fabric.

При их реализации нужно учитывать следующие риски:

• Усложнение имеющихся систем и неприменимость старых технологий и подходов. Новые требования бизнеса и рост объема данных повышают риски возникновения критических ошибок.
• Отсутствие опыта и регламентов, необходимых для внедрения новых технологий. Компании идут путем проб и ошибок и зачастую изобретают велосипед. Как результат — риски растут, а сроки реализации проектов затягиваются.
  
• Нехватка специалистов с релевантным опытом.
  
• Сжатые сроки. Бизнес не может выделить несколько лет на подбор подходящих решений, MVP, тестирование и т. д. При этом делать упор на скорость в ущерб надежности системы нельзя.
  

За сокращение рисков и успех внедрения инноваций отвечает процесс, о котором говорил еще Гегель — переход количества в качество. Он состоит из трех этапов.

Первый — накопление опыта и компетенций в ИТ-сообществе — реализуется через демократизацию знаний и технологий. Именно с этой целью Сбер и «Газпром нефть» организуют масштабные форумы и заключают соглашения об инновационном сотрудничестве, Google и Microsoft открывают исходный код и дают доступ к своим разработкам, а рядовые специалисты делятся новым опытом на Хабре.

Но разрыв между теорией и практикой остается. Одно дело — обрывистый и не дотягивающий до Enterprise-стандартов опыт энтузиастов, и совсем другое — ваша компания, корпоративная ИТ-инфраструктура и конкретные требования бизнеса.

Эта проблема решается на втором этапе — с помощью консалтинга. Консалтинговые компании систематизируют мировой опыт и помогают выработать bestpractice.

Благодаря их поддержке можно оценить текущую ситуацию и сформировать эффективную стратегию развития.

Переходим к третьему этапу. После накопления и осмысления опыта, выработки критериев и подходов начинается практическая реализация. Здесь впереди планеты всей идут интеграторы, за плечами у которых есть масса реальных кейсов и самых разных технологий.

Внедрение Data Governance или Data Fabric начинается с аудита корпоративного хранилища (КХД) и информационно-аналитических систем (ИАС), а также разработки концепции управления данными. Если в проекте участвуют консалтеры, для решения этих задач потребуется примерно 3–4 месяца. На выходе вы получите результаты обследования КХД и ИАС, обзор подходящего ПО, варианты реализации архитектуры, Road Map, ТЗ, а также оценки по бюджету и срокам. На основе этих данных формируется итоговое видение и план реализации проекта. Остальное — дело техники: выбор интегратора и четкая постановка задачи. Непосредственно реализация решения обычно занимает 12–18 месяцев.

* Продукты компании Meta, признанной экстремистской в Российской Федерации.

** Признана экстремистской организацией в Российской Федерации.

Автор статьи: Станислав Шлишевский, руководитель направления продвижения центра управления данными компании «Инфосистемы Джет»