От таблицы до каталога метаданных
Инвентаризацию начинают в таблице, а продолжают в той системе, которая нужна для цели. Таблицы хватает для старта, небольшой организации и быстрого аудита. Каталог метаданных с открытым кодом нужен, когда данных много и их описания должны обновляться из самих систем. Непубличный каталог рядом с порталом открытых данных — когда надо вести и закрытые, и открытые наборы. Собственный реестр — когда инвентаризация становится частью архитектуры электронного правительства.
Четыре уровня
| Уровень | Что это | Когда подходит | Ограничения |
|---|---|---|---|
| Таблица | Excel, Google Sheets или CSV с основными атрибутами реестра | Старт, небольшие организации, быстрый аудит перед внедрением сложных систем | Нет автоматического обновления; легко испортить ручными правками |
| Каталог метаданных с открытым кодом | OpenMetadata, DataHub, Apache Atlas — системы, которые собирают описания из баз данных и хранилищ | Хорошо структурированные данные внутри организации, много систем и таблиц | Видят только подключённые системы; требуют команды сопровождения |
| Непубличный каталог рядом с порталом открытых данных | Внутренний каталог с полным реестром, из которого открытая часть выгружается на портал | Нужно вести чувствительные данные и одновременно публиковать открытые | Две системы нужно держать согласованными |
| Собственный реестр | Реестр метаданных, встроенный в национальную архитектуру: связан с интеграционной платформой, аналитической платформой, реестром систем | Инвентаризация становится постоянной частью электронного правительства | Дорого в разработке; зависит от устойчивости архитектуры |
Пример третьего уровня — модель федеральных ведомств США: полный инвентарь ведомства и его общедоступная часть на data.gov («Зарубежные методики»). Четвёртый уровень можно представить на примере Казахстана — реестр метаданных, связанный с интеграционной платформой Smart Bridge и аналитической платформой Smart Data Ukimet («Казахстан»).
Как выбрать
- Начинайте с таблицы всегда. Даже если впереди каталог, состав атрибутов и первые записи удобнее отработать в таблице (шаблон реестра).
- Каталог метаданных — когда описания должны обновляться сами. Если данные в базах меняются чаще, чем люди успевают обновлять таблицу.
- Стандарт описания с первого дня — DCAT или схема Project Open Data: тогда переход с таблицы на каталог не потребует переписывать атрибуты («Стандарты описания»).
- Для публичной части — каталог данных. Как выбрать платформу для публичного каталога, подробно разобрано в книге «Каталоги данных».