Что такое инвентаризация данных
Инвентаризация данных — систематическое выявление и описание данных: какие наборы данных есть, в каких системах они хранятся, кто ими владеет, на каком основании их собирают, насколько они доступны и какого они качества. Результат инвентаризации — реестр данных (его ещё называют инвентарём): таблица или каталог, где у каждого набора есть описание, владелец и дата проверки.
Инвентаризацию проводят не ради описи. Её начинают, когда нужно что-то сделать с данными — запустить проактивную услугу, построить аналитику, открыть данные, обучить модель — и непонятно, какие данные для этого есть. Поэтому главное в инвентаризации — цели, а не полнота списка.
Два подхода
Инвентаризацию ведут с одной из двух сторон:
- «Понять, чем владеем» — опись собственных данных организации или ведомства: какие системы, какие наборы в них, кто за что отвечает. Нужна, чтобы навести порядок в процессах сбора данных, найти дубли, выделить чувствительные данные, подготовить открытие данных.
- «Понять, где найти нужное» — поиск данных под задачу, в том числе у других организаций: в государственных системах, общественных проектах, у коммерческих компаний. Нужна для систем поддержки принятия решений и сложных отраслевых проектов. Её результат часто оформляют как карту данных.
Подробнее — в главе «Два подхода».
Чем инвентаризация отличается от соседних понятий
| Понятие | На какой вопрос отвечает | Чем отличается от инвентаризации |
|---|---|---|
| Каталог данных | Какие наборы опубликованы и как их получить? | Описывает опубликованное. Инвентаризация охватывает всё, включая закрытые и внутренние данные; каталог часто становится её результатом |
| Реестр информационных систем | Какие системы есть у государства? | Учитывает системы, а не наборы данных в них. Для инвентаризации — один из главных источников |
| Карта данных | Где найти данные для ответа на вопросы? | Форма результата подхода «где найти нужное»: показывает источники под вопросы, но не всегда описывает каждый набор |
| Управление метаданными (корпоративный каталог) | Где внутри компании лежит таблица и что в ней? | Постоянная работа с описаниями данных на уровне таблиц и полей. Инвентаризация — её первый шаг и часть (DAMA-DMBOK) |
| Происхождение данных (data lineage) | Откуда пришли значения в этой таблице? | Прослеживает потоки данных; инвентаризация останавливается на уровне наборов и систем |
| Реестр операций обработки персональных данных | Какие персональные данные обрабатываются и зачем? | Требование законов о персональных данных; охватывает только персональные данные |
Почему это трудно
Почти в любой большой организации и в любом государстве данные разбросаны по десяткам и сотням систем, которые создавались в разное время разными подрядчиками. Типичная картина: государственные органы эксплуатируют сотни информационных систем с пересекающимися наборами данных, у граждан и бизнеса одни и те же сведения собирают несколько раз, справочники разных ведомств расходятся, а сквозная аналитика на уровне государства невозможна. Без инвентаризации нельзя сделать проактивные услуги, которые требуют автоматически сопоставлять достоверные данные из разных систем.
К этому добавляется главное предупреждение: готовьтесь к разочарованию. Нужных данных может не оказаться вовсе, а найденные — быть плохого качества («Принципы»).
Что инвентаризация не делает
- Не даёт самих данных. Реестр говорит, что и где есть, но не заменяет выгрузку, интеграцию или договор с владельцем.
- Не гарантирует полноты. Реестр охватывает то, что найдено к дате проверки, поэтому у каждой записи есть дата.
- Не заканчивается. Данные и системы меняются, и разовая опись устаревает за год-два. Инвентаризация — часть постоянного управления данными.
Источники
- Бегтин И. Каталоги данных — о том, как устроены каталоги данных.