Data Mesh
Data Mesh — подход к архитектуре данных, который предложила Жамак Дегани в 2019 году: ответственность за данные переносят в доменные команды, а общими остаются стандарты и платформа. Для государства домен — это ведомство. Инвентаризация в такой модели — не центральная опись, которую ведёт одна команда, а общий реестр, куда каждое ведомство описывает свои данные по единым правилам.
Четыре принципа
| Принцип | Что значит | Что даёт инвентаризации |
|---|---|---|
| Владение данными у доменов (domain ownership) | Каждое ведомство владеет своими данными и отвечает за их качество и актуальность | В реестре у каждого набора есть владелец, который отвечает за его описание |
| Данные как продукт (data as a product) | Данные оформляются как продукт: с документацией, программным интерфейсом и обязательствами по доступности и качеству | Запись реестра становится описанием продукта — с уровнем обслуживания и контактами |
| Платформа самообслуживания (self-serve platform) | Общая инфраструктура снижает барьеры для публикации и потребления данных | Реестр и каталог — часть платформы, описывать данные просто |
| Федеративное управление (federated governance) | Общие стандарты и политики при децентрализованном исполнении | Единый состав атрибутов и стандарт описания для всех ведомств |
Когда это подходит
- Ведомств и систем много, и центральная команда не успевает описывать всё сама.
- У ведомств есть ИТ-команды, способные отвечать за свои данные.
- Есть общая платформа обмена данными, к которой подключены системы. В Казахстане такую роль играют интеграционная платформа Smart Bridge и аналитическая платформа Smart Data Ukimet («Казахстан»).
Ограничения
- Без общих стандартов федеративная модель превращается в разрозненные реестры с разными полями.
- Доменам нужны ресурсы: если у ведомства нет ответственного за данные, его записи в реестре устареют первыми.
Источники
- Z. Dehghani. How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh, 2019.