Качество данных
Найти набор недостаточно: нужно понять, годится ли он для задачи. Поэтому проверка качества — часть инвентаризации, а не отдельный проект после неё. Полная оценка качества долгая, но быстрая проверка по нескольким признакам занимает минуты и спасает от решений на негодных данных. Готовьтесь к разочарованию: данные часто неполны, устарели или противоречат другим источникам.
Что проверять
| Признак | Вопрос | Как быстро проверить |
|---|---|---|
| Полнота | Все ли записи и поля на месте? | Сравнить число записей с ожидаемым: числом регионов, организаций, месяцев |
| Актуальность | Насколько свежие данные? | Дата последнего изменения, последняя дата внутри данных |
| Точность | Соответствуют ли данные действительности? | Сверить несколько записей с другим источником |
| Согласованность | Не противоречат ли данные сами себе и другим источникам? | Суммы по разрезам, совпадение справочников с эталонными |
| Уникальность | Нет ли дублей? | Повторы по идентификатору или названию |
| Пригодность формата | Можно ли обработать данные машиной? | Машиночитаемый ли формат, одна ли таблица, есть ли описание полей |
Эти признаки — из области «качество данных» DAMA-DMBOK («DAMA-DMBOK и управление метаданными»).
Типичные находки
- Набор описан, но пуст или содержит тестовые записи.
- Последнее обновление — несколько лет назад, хотя по описанию данные ежемесячные.
- Справочники двух ведомств по одному предмету — регионам, видам деятельности — не совпадают.
- Данные есть только в агрегатах, а для задачи нужны записи.
- Формат «для печати»: объединённые ячейки, несколько таблиц на листе, итоги вперемешку с данными.
Это нормальный результат инвентаризации. Он попадает в реестр и в анализ разрывов на пятом шаге («Семь шагов»).
Как записать в реестр
В минимальном составе реестра для этого есть атрибут «отметка о контроле качества» («Реестр данных»). В нём пишут:
- проверено ли качество и когда;
- по каким признакам;
- что найдено — коротко: «пропуски за 2019 год», «справочник регионов устарел»;
- годится ли набор для задачи, ради которой ведётся инвентаризация.
Источники
- Глава «DAMA-DMBOK и управление метаданными» — качество данных как область управления данными.
- Глава «Реестр данных» — атрибут «отметка о контроле качества».