«А где лежат продажи по каналам?» — вопрос на минуту. Через сорок минут у вас пять ссылок, две уже не работают, а автор правильной таблицы в отпуске.
Каталог данных нужен, чтобы этот поиск не зависел от памяти одного человека. Он показывает, какие наборы есть, что они означают, откуда приехали, когда обновились и кому задать вопрос. По сути, навигатор по данным компании.
Что получите после чтения
Поймёте, что такое каталог данных, какие метаданные действительно нужны и как сделать так, чтобы сотрудник находил правильный набор без археологии по чатам. В конце будет конкретный первый шаг, который можно сделать на своих данных сегодня.
Что это такое простыми словами
Data catalog собирает метаданные — данные о данных. Это название набора, поля, описание, владелец, источник, частота обновления, связи, уровень качества и условия доступа.
Бизнес-глоссарий отвечает, что такое «активный клиент» или «оплаченная продажа». Каталог связывает термин с конкретными таблицами и отчётами. Один без другого быстро становится либо словарём без адресов, либо складом адресов без смысла.
Сертифицированный набор — тот, который прошёл проверку и рекомендован для определённых задач. Это не значит «идеальный навсегда». Значит: владелец известен, правила описаны, свежесть контролируется.
Как эту задачу ищут и обсуждают
Люди формулируют этот вопрос по-разному: «каталог данных что это», «data catalog что это», «как создать каталог данных». Чуть глубже спрашивают «каталог метаданных компании», «поиск наборов данных в организации» и «бизнес глоссарий и каталог данных». В работе всплывают и практические варианты: «data catalog и data governance», «владелец набора данных», «сертифицированные данные в каталоге», «метаданные для аналитики». Ниже всё это собрано в одну понятную логику — без десяти статей об одном и том же.
Что это даёт бизнесу
Аналитик быстрее находит источник и меньше повторяет уже сделанную работу. Бизнес-пользователь понимает, какой отчёт официальный. Служба безопасности видит чувствительные поля и правила доступа.
Каталог также показывает стоимость изменений. Если поле используется в пятнадцати отчётах, его нельзя спокойно переименовать в пятницу вечером (пятница вообще любит такие идеи, но мы держимся).
Порядок действий
- Выберите 20–30 самых используемых наборов, а не все таблицы сразу.
- Для каждого укажите понятное название, назначение, владельца и контакт поддержки.
- Опишите ключевые поля и свяжите их с терминами бизнес-глоссария.
- Добавьте происхождение: источник, преобразования и главные downstream-отчёты.
- Покажите свежесть, тесты качества и статус сертификации.
- Настройте поиск по привычным словам сотрудников и синонимам.
- Встройте обновление карточки в процесс изменения модели, иначе каталог быстро станет музеем.
Первый проход лучше сделать на одном закрытом периоде и одной понятной группе. Так легче проверить исходные записи и не прятать ошибку внутри большого среднего. После сверки правило можно переносить в автоматический отчёт.
Формула или логика расчёта
Каталог оценивают через поиск и повторное использование. Можно считать success rate: число поисков, после которых пользователь открыл подходящий набор, ÷ все поиски. Дополнительно — медианное время от вопроса до найденного источника.
Ещё одна полезная метрика — доля критичных наборов с владельцем, описанием, свежестью и lineage. Она показывает не красоту карточек, а управляемость важной части данных.
Пример с числами
В компании 160 таблиц и 38 регулярных отчётов. За месяц аналитики получили 52 вопроса «где взять данные». Средний поиск и перепроверка занимали 25 минут — почти 22 часа.
Мы выбрали 25 наборов, которые питают управленческие отчёты. Для каждого добавили владельца, бизнес-описание, дату обновления, список ключевых показателей и ссылки на источники.
Через месяц 41 из 52 типовых вопросов закрывались поиском в каталоге. Среднее время упало до 7 минут. Экономия: 52 × (25 − 7) = 936 минут, или 15,6 часа.
Но главное — обнаружились три набора «выручка». Один показывал заказы, второй оплаты, третий отгрузки. Мы не удалили два. Мы ясно переименовали их и описали сценарии. Пользователь получил выбор без угадайки.
Какие поля действительно нужны в карточке набора
Минимальная карточка отвечает на семь вопросов: что это, для каких решений подходит, кто владелец, откуда данные, когда обновляются, какой статус качества и как получить доступ. Всё остальное можно добавлять по мере использования. Двадцать обязательных полей на старте почти гарантируют двадцать пустых полей чуть позже.
Для показателей добавьте формулу и границы. Например, «оплаченная выручка» использует дату оплаты, исключает внутренние переводы, учитывает возврат в дату возврата и хранится без НДС. Такое описание экономит больше времени, чем абзац «содержит информацию о выручке компании».
Поиск проверяйте на языке пользователей. Дайте пяти людям по три задачи: найти продажи по каналам, клиента с оплатой и остаток товара. Запишите, какие слова они вводят, где останавливаются и какой набор выбирают. Эти запросы дадут синонимы и покажут, что карточка понятна только её автору.
Для критичных наборов полезен знак сертификации с датой и областью применения. Набор может быть проверен для управленческой отчётности, но не подходить для бухгалтерской. Статус должен обещать ровно то, что команда реально контролирует.
Короткий контрольный список
- Назначение написано словами бизнеса
- Владелец и контакт актуальны
- Есть источник и lineage
- Показана свежесть и статус качества
- Поиск понимает привычные синонимы
Как автоматизировать и не потерять контроль
Автоматизацию ставим после ручной сверки двух сопоставимых периодов. В процессе должны остаться четыре вещи: контроль входа, контроль результата, понятный статус свежести и человек, который принимает решение при отклонении. Иначе ручная ошибка просто научится бегать быстрее.
Технические метаданные, схему и lineage лучше собирать автоматически из платформы. Владельцы дополняют смысл и применение. При изменении таблицы каталог создаёт задачу на проверку карточки и показывает затронутые отчёты.
Поисковые запросы без результата сохраняйте в отдельный список. Раз в две недели добавляйте синонимы, уточняйте описания или создавайте недостающую карточку. Так каталог развивается от реального спроса сотрудников.
- Контрольная сумма и число строк
- Дата и статус последнего успешного обновления
- Журнал изменений методики
- Владелец реакции на предупреждение
Перед включением расписания сохраните эталонную выгрузку и десять проверенных объектов с ожидаемым результатом. После каждого заметного изменения прогоняйте их снова. Общая сумма ловит крупный разрыв, а конкретные объекты показывают, не поменялась ли логика внутри. Если проверка не прошла, новая версия не заменяет рабочую — она остаётся на тестовом контуре до разбора причины.
Результат проверки тоже сохраняйте: дата, версия правил, входной период и найденные расхождения. Тогда через месяц можно объяснить, почему число изменилось, а не восстанавливать методику по памяти команды.
Как объяснить результат команде
Я показываю не только итоговую цифру. Рядом ставлю период, базу сравнения, размер выборки и одно предложение о причине. Тогда процент превращается в рабочий вывод, а не в число, которое каждый трактует по настроению.
Следующий слой — действие. У него есть владелец и дата проверки. Если изменение относится к рекламе, задача уходит маркетологу. Если к CRM — продажам. Если расходятся определения, сначала собираем владельцев показателя. Дашборд сам людей не познакомит (пока что).
Что проверить глубже
- Автоматически собирайте технические поля, но бизнес-описание оставляйте владельцу процесса.
- Храните синонимы. Люди ищут «продажи», даже если таблица называется fact_revenue_v2.
- Показывайте последние изменения и влияние на отчёты.
- Дайте возможность сообщить об ошибке прямо из карточки набора.
Полезно взять пять крупных объектов и пять случайных. Крупные находят денежные отклонения, случайные — системные. Для каждого пройдите путь до источника: дата, статус, сумма, идентификатор и правило включения.
Ограничения и типичные ошибки
- Импортировать тысячи таблиц без приоритета и назвать работу законченной
- Не указывать владельца и статус доверия
- Описывать техническим языком, которого не знает бизнес
- Не обновлять lineage после изменений
- Оценивать успех количеством карточек вместо найденных ответов
Ограничение не делает метод бесполезным. Оно показывает границу, внутри которой результат можно использовать. Если граница записана рядом, решение получается спокойнее и точнее.
Как я использую это в работе
Я начинаю с вопросов, которые уже звучат в чатах. Если люди регулярно спрашивают про продажи, маржу и рекламные расходы, именно эти наборы должны первыми появиться в каталоге.
С собственником мы определяем критичные отчёты. С владельцами процессов фиксируем определения. Потом аналитик связывает термины с физическими полями и проверяет lineage.
Маркетолог в итоге видит один сертифицированный набор для оценки каналов, дату обновления и автора правила. Если цифра странная, он знает, куда идти. Кнопка ниже — если хотите начать каталог с полезных данных, а не с переписи серверов.
Как поставить показатель на контроль
После первого расчёта сохраняем исходную версию и контрольную выборку. Затем задаём частоту обновления, допустимое отклонение и реакцию. Сигнал без реакции быстро превращается в ещё одно уведомление, которое все научились закрывать.
Через один полный рабочий цикл сравниваем ожидание с фактом. Ошибки делим на три группы: данные, допущение и исполнение. Это важно: исправлять загрузку, менять прогноз и дорабатывать процесс — три разные задачи.
Что сделать прямо сейчас
Соберите десять ссылок на таблицы, которые команда чаще всего пересылает друг другу. Для каждой добавьте одну строку «для чего», владельца и дату обновления. Это уже первая версия каталога.
