Перейти к основному содержимому

Три слоя данных

Данные для любой задачи лежат в трёх слоях. Государственные — в системах органов власти: их много, часть открыта, часть регламентирована законами, качество обычно невысокое. Общественные — в открытых проектах, научных репозиториях, у международных организаций: открыты, но тоже часто неидеальны. Коммерческие — у банков, операторов связи, бюро кредитных историй: обычно высокого качества, но доступны только по соглашениям. Инвентаризация «где найти нужное» проходит по всем трём; инвентаризация «чем владеем» в государстве — в основном по первому.

Сравнение​

ГосударственныеОбщественныеКоммерческие
ДоступОткрытые и регламентированные нормативными актамиОткрытыеПо специальным соглашениям
КачествоОбычно невысокоеОбычно невысокоеОбычно высокое
Где искатьПорталы открытых данных, реестры информационных систем, официальные сайты, госзакупки, нормативные акты, статистикаОбщественные проекты, Викимедиа, научные репозитории, международные организацииОператоры связи, банки, бюро кредитных историй, отраслевые компании
МетодыАнализ полномочий, реестры систем, анализ контрактов, опросы, поиск по сайтамПоиск проектов и каталогов, эксперты и сообществоЭксперты, ассоциации, целевые запросы к компаниям
ГлаваГосударственные данныеОбщественные данныеКоммерческие данные

Оценки качества — обобщение, а не правило: бывает отличная государственная статистика и плохие коммерческие данные. Проверяют каждый набор («Качество данных»).

Пример: Казахстан​

В Казахстане три слоя выглядят так:

  • государственные данные — портал открытых данных data.egov.kz, базовые государственные базы данных (физические лица, юридические лица, регистр недвижимости, электронное лицензирование), Бюро национальной статистики stat.gov.kz, портал госзакупок goszakup.gov.kz, правовая система «Әділет» adilet.zan.kz;
  • общественные данные — экосистема Викимедиа (Wikidata, DBpedia), порталы международных организаций (Всемирный банк, ООН, ВОЗ, ОЭСР), научные репозитории (re3data.org);
  • коммерческие данные — данные банков, операторов связи, финтеха, которые можно получать в рамках обмена данными с отраслью.

Подробнее — в главе «Казахстан».

С чего начинать​

  1. Государственные данные — по анализу полномочий: он даёт владельцев и то, что у них должно быть.
  2. Поиск наборов данных — по всем слоям сразу: поисковики собирают описания из тысяч каталогов («Поиск наборов данных»).
  3. Общественные и коммерческие — для того, чего не нашлось у государства, и для проверки государственных данных.

Источники​