docs(clickhouse): plan dictionaries and aggregate sprints
This commit is contained in:
igor04091968
@@ -0,0 +1,762 @@
|
|||||||
|
# План внедрения ClickHouse Dictionaries и агрегатов для AWatch-rus / DetMir
|
||||||
|
|
||||||
|
Дата: `2026-06-23`
|
||||||
|
|
||||||
|
Статус: рабочий архитектурный план.
|
||||||
|
|
||||||
|
## 1. Общая цель
|
||||||
|
|
||||||
|
Цель внедрения ClickHouse Dictionaries и Materialized Views - подготовить
|
||||||
|
AWatch-rus / DetMir к росту объема данных и числу пользователей отчетности.
|
||||||
|
|
||||||
|
Сырые события ActivityWatch остаются в fact-таблицах. Отчеты и Grafana не
|
||||||
|
должны постоянно выполнять тяжелые `JOIN` и агрегации по миллионам или
|
||||||
|
миллиардам строк. Обогащение и схлопывание данных нужно переносить на этап
|
||||||
|
записи, backfill или scheduled aggregation.
|
||||||
|
|
||||||
|
Базовая схема:
|
||||||
|
|
||||||
|
```text
|
||||||
|
raw ActivityWatch events
|
||||||
|
-> dimension tables
|
||||||
|
-> ClickHouse Dictionaries
|
||||||
|
-> Materialized Views / aggregate tables
|
||||||
|
-> Grafana / reports
|
||||||
|
```
|
||||||
|
|
||||||
|
Dictionaries не являются источником истины. Источник истины - обычные таблицы
|
||||||
|
измерений, импорт из NetBox/XLS/инвентаризации или утвержденные ручные
|
||||||
|
справочники.
|
||||||
|
|
||||||
|
## 2. Спринт 1. Оргструктура и слепые зоны
|
||||||
|
|
||||||
|
### Цель
|
||||||
|
|
||||||
|
Связать сырые события AWatch-rus с оргструктурой компании и выявить слепые зоны
|
||||||
|
в привязке рабочих мест, пользователей и подразделений.
|
||||||
|
|
||||||
|
### Решение
|
||||||
|
|
||||||
|
Создаются:
|
||||||
|
|
||||||
|
- `dim_workstation_user` - dimension/current snapshot;
|
||||||
|
- `dict_workstation_user` - словарь для lookup по паре `host_name + user_login`.
|
||||||
|
|
||||||
|
Так как ключ составной, используется `COMPLEX_KEY_HASHED()`.
|
||||||
|
|
||||||
|
### Source table
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE IF NOT EXISTS dim_workstation_user
|
||||||
|
(
|
||||||
|
host_name String,
|
||||||
|
user_login String,
|
||||||
|
|
||||||
|
employee_name String,
|
||||||
|
department String,
|
||||||
|
branch String,
|
||||||
|
position String,
|
||||||
|
|
||||||
|
source LowCardinality(String),
|
||||||
|
is_active UInt8 DEFAULT 1,
|
||||||
|
updated_at DateTime DEFAULT now()
|
||||||
|
)
|
||||||
|
ENGINE = ReplacingMergeTree(updated_at)
|
||||||
|
ORDER BY (host_name, user_login);
|
||||||
|
```
|
||||||
|
|
||||||
|
### Dictionary
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE DICTIONARY IF NOT EXISTS dict_workstation_user
|
||||||
|
(
|
||||||
|
host_name String,
|
||||||
|
user_login String,
|
||||||
|
|
||||||
|
employee_name String,
|
||||||
|
department String,
|
||||||
|
branch String,
|
||||||
|
position String,
|
||||||
|
is_active UInt8
|
||||||
|
)
|
||||||
|
PRIMARY KEY host_name, user_login
|
||||||
|
SOURCE(CLICKHOUSE(TABLE 'dim_workstation_user'))
|
||||||
|
LAYOUT(COMPLEX_KEY_HASHED())
|
||||||
|
LIFETIME(MIN 3600 MAX 86400);
|
||||||
|
```
|
||||||
|
|
||||||
|
### Отчет по слепым зонам
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT
|
||||||
|
host_name,
|
||||||
|
user_login,
|
||||||
|
count() AS events
|
||||||
|
FROM aw_raw_events
|
||||||
|
WHERE dictGetStringOrDefault(
|
||||||
|
'dict_workstation_user',
|
||||||
|
'employee_name',
|
||||||
|
(host_name, user_login),
|
||||||
|
''
|
||||||
|
) = ''
|
||||||
|
GROUP BY host_name, user_login
|
||||||
|
ORDER BY events DESC
|
||||||
|
LIMIT 100;
|
||||||
|
```
|
||||||
|
|
||||||
|
### Definition of Done
|
||||||
|
|
||||||
|
- создана таблица `dim_workstation_user`;
|
||||||
|
- создан словарь `dict_workstation_user`;
|
||||||
|
- словарь находится в статусе `LOADED`;
|
||||||
|
- есть стартовая загрузка данных;
|
||||||
|
- есть отчет unknown `host_name + user_login`;
|
||||||
|
- есть первый обогащенный запрос по сырым событиям;
|
||||||
|
- документирован источник истины для оргструктуры.
|
||||||
|
|
||||||
|
## 3. Спринт 2. Продуктивность и классификация desktop software
|
||||||
|
|
||||||
|
### Цель
|
||||||
|
|
||||||
|
Уйти от анализа миллионов строк процессов к понятным бизнес-метрикам по
|
||||||
|
использованию ПО на рабочих местах.
|
||||||
|
|
||||||
|
Сырые события должны обогащаться не только `process_name`, а нормализованным
|
||||||
|
именем приложения, категорией, признаком продуктивности и уровнем риска.
|
||||||
|
|
||||||
|
### Решение
|
||||||
|
|
||||||
|
Создаются:
|
||||||
|
|
||||||
|
- `dim_application_category`;
|
||||||
|
- `dict_application_category`;
|
||||||
|
- отчет top unknown processes;
|
||||||
|
- первый отчет продуктивности по отделам и сотрудникам.
|
||||||
|
|
||||||
|
### Source table
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE IF NOT EXISTS dim_application_category
|
||||||
|
(
|
||||||
|
process_name String,
|
||||||
|
|
||||||
|
application_name String,
|
||||||
|
vendor String,
|
||||||
|
category LowCardinality(String),
|
||||||
|
productivity_class LowCardinality(String),
|
||||||
|
risk_level LowCardinality(String),
|
||||||
|
|
||||||
|
is_system UInt8 DEFAULT 0,
|
||||||
|
is_active UInt8 DEFAULT 1,
|
||||||
|
source LowCardinality(String),
|
||||||
|
comment String,
|
||||||
|
updated_at DateTime DEFAULT now()
|
||||||
|
)
|
||||||
|
ENGINE = ReplacingMergeTree(updated_at)
|
||||||
|
ORDER BY process_name;
|
||||||
|
```
|
||||||
|
|
||||||
|
### Dictionary
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE DICTIONARY IF NOT EXISTS dict_application_category
|
||||||
|
(
|
||||||
|
process_name String,
|
||||||
|
|
||||||
|
application_name String,
|
||||||
|
vendor String,
|
||||||
|
category String,
|
||||||
|
productivity_class String,
|
||||||
|
risk_level String,
|
||||||
|
is_system UInt8,
|
||||||
|
is_active UInt8
|
||||||
|
)
|
||||||
|
PRIMARY KEY process_name
|
||||||
|
SOURCE(CLICKHOUSE(TABLE 'dim_application_category'))
|
||||||
|
LAYOUT(HASHED())
|
||||||
|
LIFETIME(MIN 3600 MAX 86400);
|
||||||
|
```
|
||||||
|
|
||||||
|
### Базовые классы продуктивности
|
||||||
|
|
||||||
|
| Значение | Смысл |
|
||||||
|
|---|---|
|
||||||
|
| `productive` | рабочее приложение |
|
||||||
|
| `neutral` | системное или вспомогательное приложение |
|
||||||
|
| `non_productive` | явно нерабочее использование |
|
||||||
|
| `risky` | потенциальный риск ИБ или нежелательное ПО |
|
||||||
|
| `unknown` | нет классификации |
|
||||||
|
|
||||||
|
### Отчет unknown processes
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT
|
||||||
|
process_name,
|
||||||
|
count() AS events,
|
||||||
|
sum(duration_sec) AS duration_sec
|
||||||
|
FROM aw_window_events
|
||||||
|
WHERE dictGetStringOrDefault(
|
||||||
|
'dict_application_category',
|
||||||
|
'category',
|
||||||
|
process_name,
|
||||||
|
''
|
||||||
|
) = ''
|
||||||
|
GROUP BY process_name
|
||||||
|
ORDER BY duration_sec DESC
|
||||||
|
LIMIT 100;
|
||||||
|
```
|
||||||
|
|
||||||
|
### Definition of Done
|
||||||
|
|
||||||
|
- создана таблица `dim_application_category`;
|
||||||
|
- создан словарь `dict_application_category`;
|
||||||
|
- загружен стартовый список известных процессов;
|
||||||
|
- есть top unknown processes;
|
||||||
|
- есть отчет продуктивности в разрезе отдела/сотрудника;
|
||||||
|
- классификация не используется как дисциплинарный вывод без ручной проверки;
|
||||||
|
- назначен владелец справочника классификации ПО.
|
||||||
|
|
||||||
|
## 4. Спринт 3. Веб-аналитика и глубинная фильтрация
|
||||||
|
|
||||||
|
### Цель
|
||||||
|
|
||||||
|
Перейти от анализа заголовков окон браузера и полных URL к нормальной
|
||||||
|
веб-аналитике: домены, категории сайтов, рабочая/нерабочая активность,
|
||||||
|
рисковые ресурсы и unknown domains.
|
||||||
|
|
||||||
|
### Решение
|
||||||
|
|
||||||
|
Создаются:
|
||||||
|
|
||||||
|
- нормализация URL в `domain_name`;
|
||||||
|
- `dim_domain_category`;
|
||||||
|
- `dict_domain_category`;
|
||||||
|
- top unknown domains;
|
||||||
|
- browser productivity report;
|
||||||
|
- задел под path-level правила.
|
||||||
|
|
||||||
|
### Нормализация URL
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT
|
||||||
|
url,
|
||||||
|
lowerUTF8(
|
||||||
|
parseURL(
|
||||||
|
if(position(url, '://') = 0, concat('http://', url), url),
|
||||||
|
'host'
|
||||||
|
)
|
||||||
|
) AS domain_name
|
||||||
|
FROM aw_browser_events;
|
||||||
|
```
|
||||||
|
|
||||||
|
Если в данных уже есть корректный полный URL, можно использовать `domain(url)`.
|
||||||
|
Если URL спрятан только в title, regex parsing допускается как fallback, но не
|
||||||
|
как основной путь.
|
||||||
|
|
||||||
|
### Source table
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE IF NOT EXISTS dim_domain_category
|
||||||
|
(
|
||||||
|
domain String,
|
||||||
|
|
||||||
|
site_name String,
|
||||||
|
category LowCardinality(String),
|
||||||
|
productivity_class LowCardinality(String),
|
||||||
|
risk_level LowCardinality(String),
|
||||||
|
business_allowed UInt8 DEFAULT 0,
|
||||||
|
|
||||||
|
source LowCardinality(String),
|
||||||
|
comment String,
|
||||||
|
is_active UInt8 DEFAULT 1,
|
||||||
|
updated_at DateTime DEFAULT now()
|
||||||
|
)
|
||||||
|
ENGINE = ReplacingMergeTree(updated_at)
|
||||||
|
ORDER BY domain;
|
||||||
|
```
|
||||||
|
|
||||||
|
### Dictionary
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE DICTIONARY IF NOT EXISTS dict_domain_category
|
||||||
|
(
|
||||||
|
domain String,
|
||||||
|
|
||||||
|
site_name String,
|
||||||
|
category String,
|
||||||
|
productivity_class String,
|
||||||
|
risk_level String,
|
||||||
|
business_allowed UInt8,
|
||||||
|
is_active UInt8
|
||||||
|
)
|
||||||
|
PRIMARY KEY domain
|
||||||
|
SOURCE(CLICKHOUSE(TABLE 'dim_domain_category'))
|
||||||
|
LAYOUT(HASHED())
|
||||||
|
LIFETIME(MIN 3600 MAX 86400);
|
||||||
|
```
|
||||||
|
|
||||||
|
### Начальные категории доменов
|
||||||
|
|
||||||
|
| Категория | Смысл |
|
||||||
|
|---|---|
|
||||||
|
| `internal_service` | внутренние корпоративные сервисы |
|
||||||
|
| `banking` | банковские и финансовые ресурсы |
|
||||||
|
| `government` | государственные сервисы |
|
||||||
|
| `work_service` | рабочие SaaS/порталы/документация |
|
||||||
|
| `developer` | Git, документация, package registry |
|
||||||
|
| `mail` | почтовые сервисы |
|
||||||
|
| `messenger` | web-мессенджеры |
|
||||||
|
| `cloud_storage` | облачные хранилища |
|
||||||
|
| `search` | поисковые системы |
|
||||||
|
| `news` | новости |
|
||||||
|
| `social` | социальные сети |
|
||||||
|
| `media` | видео/аудио/стриминг |
|
||||||
|
| `shopping` | покупки и маркетплейсы |
|
||||||
|
| `job_search` | сайты поиска работы |
|
||||||
|
| `ai_service` | внешние AI-сервисы |
|
||||||
|
| `unknown` | не классифицировано |
|
||||||
|
| `risky` | рискованный или нежелательный ресурс |
|
||||||
|
|
||||||
|
### Path-level правила
|
||||||
|
|
||||||
|
Классификация по домену не всегда достаточна. Для `github.com`, `youtube.com`,
|
||||||
|
`docs.google.com`, `mail.ru` может потребоваться учет path или контекста.
|
||||||
|
|
||||||
|
Задел под будущую детализацию:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE IF NOT EXISTS dim_url_rule
|
||||||
|
(
|
||||||
|
rule_id String,
|
||||||
|
domain String,
|
||||||
|
path_pattern String,
|
||||||
|
|
||||||
|
category LowCardinality(String),
|
||||||
|
productivity_class LowCardinality(String),
|
||||||
|
risk_level LowCardinality(String),
|
||||||
|
|
||||||
|
priority UInt16 DEFAULT 100,
|
||||||
|
is_active UInt8 DEFAULT 1,
|
||||||
|
comment String,
|
||||||
|
updated_at DateTime DEFAULT now()
|
||||||
|
)
|
||||||
|
ENGINE = ReplacingMergeTree(updated_at)
|
||||||
|
ORDER BY (domain, priority, rule_id);
|
||||||
|
```
|
||||||
|
|
||||||
|
На спринте 3 `dim_url_rule` можно вести как backlog правил и применять точечно.
|
||||||
|
|
||||||
|
### Definition of Done
|
||||||
|
|
||||||
|
- создана таблица `dim_domain_category`;
|
||||||
|
- создан словарь `dict_domain_category`;
|
||||||
|
- есть нормализация URL в `domain_name`;
|
||||||
|
- есть стартовая классификация top domains;
|
||||||
|
- есть top unknown domains;
|
||||||
|
- есть browser productivity report;
|
||||||
|
- ограничения доменной модели и необходимость path-level правил задокументированы.
|
||||||
|
|
||||||
|
## 5. Спринт 4. Enterprise-масштабирование и стабильность
|
||||||
|
|
||||||
|
### Цель
|
||||||
|
|
||||||
|
Гарантировать, что система не ляжет при росте компании и объема событий.
|
||||||
|
Grafana не должна при каждом открытии dashboard на лету агрегировать миллиарды
|
||||||
|
сырых строк.
|
||||||
|
|
||||||
|
### Ключевое архитектурное правило
|
||||||
|
|
||||||
|
Materialized Views должны сразу складывать в агрегированные таблицы уже
|
||||||
|
обогащенные измерения, полученные через dictionaries.
|
||||||
|
|
||||||
|
То есть Grafana должна читать не `user_id` и не `process_name`, требующие
|
||||||
|
дальнейшего JOIN, а готовые бизнес-срезы:
|
||||||
|
|
||||||
|
```text
|
||||||
|
Дата / Час
|
||||||
|
Отделение
|
||||||
|
Отдел
|
||||||
|
Сотрудник
|
||||||
|
Категория продуктивности
|
||||||
|
Категория приложения или домена
|
||||||
|
Сумма секунд
|
||||||
|
Количество событий
|
||||||
|
```
|
||||||
|
|
||||||
|
Это переносит CPU-нагрузку с момента открытия dashboard на момент insert/backfill
|
||||||
|
и практически убирает тяжелые вычисления из пользовательских запросов Grafana.
|
||||||
|
|
||||||
|
### Общая схема
|
||||||
|
|
||||||
|
```text
|
||||||
|
raw events
|
||||||
|
-> Materialized View с dictGet* enrichment
|
||||||
|
-> SummingMergeTree / AggregatingMergeTree aggregate table
|
||||||
|
-> Grafana читает готовые агрегаты
|
||||||
|
```
|
||||||
|
|
||||||
|
Raw tables остаются для расследований и drill-down. Штатные dashboards должны
|
||||||
|
читать агрегаты.
|
||||||
|
|
||||||
|
### Выбор движка
|
||||||
|
|
||||||
|
| Движок | Где использовать |
|
||||||
|
|---|---|
|
||||||
|
| `SummingMergeTree` | суммы duration/count, основные dashboards |
|
||||||
|
| `AggregatingMergeTree` | uniq, quantile, topK, сложные агрегатные состояния |
|
||||||
|
|
||||||
|
Рекомендация: начинать с `SummingMergeTree`. `AggregatingMergeTree` подключать
|
||||||
|
только при доказанной необходимости.
|
||||||
|
|
||||||
|
### Desktop hourly aggregate
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE IF NOT EXISTS agg_aw_desktop_hourly
|
||||||
|
(
|
||||||
|
date Date,
|
||||||
|
hour DateTime,
|
||||||
|
|
||||||
|
branch String,
|
||||||
|
department String,
|
||||||
|
employee_name String,
|
||||||
|
host_name String,
|
||||||
|
user_login String,
|
||||||
|
|
||||||
|
application_name String,
|
||||||
|
app_category String,
|
||||||
|
productivity_class String,
|
||||||
|
risk_level String,
|
||||||
|
|
||||||
|
duration_sec UInt64,
|
||||||
|
event_count UInt64
|
||||||
|
)
|
||||||
|
ENGINE = SummingMergeTree()
|
||||||
|
PARTITION BY toYYYYMM(date)
|
||||||
|
ORDER BY
|
||||||
|
(
|
||||||
|
date,
|
||||||
|
hour,
|
||||||
|
branch,
|
||||||
|
department,
|
||||||
|
employee_name,
|
||||||
|
productivity_class,
|
||||||
|
app_category,
|
||||||
|
application_name,
|
||||||
|
host_name,
|
||||||
|
user_login
|
||||||
|
);
|
||||||
|
```
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE MATERIALIZED VIEW IF NOT EXISTS mv_aw_desktop_hourly
|
||||||
|
TO agg_aw_desktop_hourly
|
||||||
|
AS
|
||||||
|
SELECT
|
||||||
|
toDate(event_time) AS date,
|
||||||
|
toStartOfHour(event_time) AS hour,
|
||||||
|
|
||||||
|
dictGetStringOrDefault('dict_workstation_user', 'branch', (host_name, user_login), 'unknown') AS branch,
|
||||||
|
dictGetStringOrDefault('dict_workstation_user', 'department', (host_name, user_login), 'unknown') AS department,
|
||||||
|
dictGetStringOrDefault('dict_workstation_user', 'employee_name', (host_name, user_login), 'unknown') AS employee_name,
|
||||||
|
|
||||||
|
host_name,
|
||||||
|
user_login,
|
||||||
|
|
||||||
|
dictGetStringOrDefault('dict_application_category', 'application_name', process_name, process_name) AS application_name,
|
||||||
|
dictGetStringOrDefault('dict_application_category', 'category', process_name, 'unknown') AS app_category,
|
||||||
|
dictGetStringOrDefault('dict_application_category', 'productivity_class', process_name, 'unknown') AS productivity_class,
|
||||||
|
dictGetStringOrDefault('dict_application_category', 'risk_level', process_name, 'unknown') AS risk_level,
|
||||||
|
|
||||||
|
sum(duration_sec) AS duration_sec,
|
||||||
|
count() AS event_count
|
||||||
|
FROM aw_window_events
|
||||||
|
GROUP BY
|
||||||
|
date,
|
||||||
|
hour,
|
||||||
|
branch,
|
||||||
|
department,
|
||||||
|
employee_name,
|
||||||
|
host_name,
|
||||||
|
user_login,
|
||||||
|
application_name,
|
||||||
|
app_category,
|
||||||
|
productivity_class,
|
||||||
|
risk_level;
|
||||||
|
```
|
||||||
|
|
||||||
|
### Browser hourly aggregate
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE IF NOT EXISTS agg_aw_browser_hourly
|
||||||
|
(
|
||||||
|
date Date,
|
||||||
|
hour DateTime,
|
||||||
|
|
||||||
|
branch String,
|
||||||
|
department String,
|
||||||
|
employee_name String,
|
||||||
|
host_name String,
|
||||||
|
user_login String,
|
||||||
|
|
||||||
|
domain_name String,
|
||||||
|
site_name String,
|
||||||
|
domain_category String,
|
||||||
|
productivity_class String,
|
||||||
|
risk_level String,
|
||||||
|
|
||||||
|
duration_sec UInt64,
|
||||||
|
event_count UInt64
|
||||||
|
)
|
||||||
|
ENGINE = SummingMergeTree()
|
||||||
|
PARTITION BY toYYYYMM(date)
|
||||||
|
ORDER BY
|
||||||
|
(
|
||||||
|
date,
|
||||||
|
hour,
|
||||||
|
branch,
|
||||||
|
department,
|
||||||
|
employee_name,
|
||||||
|
productivity_class,
|
||||||
|
domain_category,
|
||||||
|
domain_name,
|
||||||
|
host_name,
|
||||||
|
user_login
|
||||||
|
);
|
||||||
|
```
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE MATERIALIZED VIEW IF NOT EXISTS mv_aw_browser_hourly
|
||||||
|
TO agg_aw_browser_hourly
|
||||||
|
AS
|
||||||
|
WITH
|
||||||
|
lowerUTF8(
|
||||||
|
parseURL(
|
||||||
|
if(position(url, '://') = 0, concat('http://', url), url),
|
||||||
|
'host'
|
||||||
|
)
|
||||||
|
) AS domain_name
|
||||||
|
SELECT
|
||||||
|
toDate(event_time) AS date,
|
||||||
|
toStartOfHour(event_time) AS hour,
|
||||||
|
|
||||||
|
dictGetStringOrDefault('dict_workstation_user', 'branch', (host_name, user_login), 'unknown') AS branch,
|
||||||
|
dictGetStringOrDefault('dict_workstation_user', 'department', (host_name, user_login), 'unknown') AS department,
|
||||||
|
dictGetStringOrDefault('dict_workstation_user', 'employee_name', (host_name, user_login), 'unknown') AS employee_name,
|
||||||
|
|
||||||
|
host_name,
|
||||||
|
user_login,
|
||||||
|
domain_name,
|
||||||
|
|
||||||
|
dictGetStringOrDefault('dict_domain_category', 'site_name', domain_name, domain_name) AS site_name,
|
||||||
|
dictGetStringOrDefault('dict_domain_category', 'category', domain_name, 'unknown') AS domain_category,
|
||||||
|
dictGetStringOrDefault('dict_domain_category', 'productivity_class', domain_name, 'unknown') AS productivity_class,
|
||||||
|
dictGetStringOrDefault('dict_domain_category', 'risk_level', domain_name, 'unknown') AS risk_level,
|
||||||
|
|
||||||
|
sum(duration_sec) AS duration_sec,
|
||||||
|
count() AS event_count
|
||||||
|
FROM aw_browser_events
|
||||||
|
WHERE domain_name != ''
|
||||||
|
GROUP BY
|
||||||
|
date,
|
||||||
|
hour,
|
||||||
|
branch,
|
||||||
|
department,
|
||||||
|
employee_name,
|
||||||
|
host_name,
|
||||||
|
user_login,
|
||||||
|
domain_name,
|
||||||
|
site_name,
|
||||||
|
domain_category,
|
||||||
|
productivity_class,
|
||||||
|
risk_level;
|
||||||
|
```
|
||||||
|
|
||||||
|
### Daily aggregate для управленческих отчетов
|
||||||
|
|
||||||
|
Daily layer лучше строить из hourly aggregates, чтобы не дублировать enrichment
|
||||||
|
логику и не перечитывать raw events.
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE IF NOT EXISTS agg_aw_activity_daily
|
||||||
|
(
|
||||||
|
date Date,
|
||||||
|
branch String,
|
||||||
|
department String,
|
||||||
|
source_type LowCardinality(String),
|
||||||
|
productivity_class String,
|
||||||
|
category String,
|
||||||
|
duration_sec UInt64,
|
||||||
|
event_count UInt64
|
||||||
|
)
|
||||||
|
ENGINE = SummingMergeTree()
|
||||||
|
PARTITION BY toYYYYMM(date)
|
||||||
|
ORDER BY
|
||||||
|
(
|
||||||
|
date,
|
||||||
|
branch,
|
||||||
|
department,
|
||||||
|
source_type,
|
||||||
|
productivity_class,
|
||||||
|
category
|
||||||
|
);
|
||||||
|
```
|
||||||
|
|
||||||
|
Пример загрузки из desktop hourly:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
INSERT INTO agg_aw_activity_daily
|
||||||
|
SELECT
|
||||||
|
date,
|
||||||
|
branch,
|
||||||
|
department,
|
||||||
|
'desktop' AS source_type,
|
||||||
|
productivity_class,
|
||||||
|
app_category AS category,
|
||||||
|
sum(duration_sec) AS duration_sec,
|
||||||
|
sum(event_count) AS event_count
|
||||||
|
FROM agg_aw_desktop_hourly
|
||||||
|
WHERE date = yesterday()
|
||||||
|
GROUP BY
|
||||||
|
date,
|
||||||
|
branch,
|
||||||
|
department,
|
||||||
|
source_type,
|
||||||
|
productivity_class,
|
||||||
|
category;
|
||||||
|
```
|
||||||
|
|
||||||
|
### Почему обогащение нужно делать до Grafana
|
||||||
|
|
||||||
|
Если Grafana читает raw tables и выполняет `dictGet*` или `JOIN` при каждом
|
||||||
|
открытии панели, CPU ClickHouse будет расходоваться на одни и те же вычисления.
|
||||||
|
При росте компании это станет узким местом.
|
||||||
|
|
||||||
|
Если Materialized View уже положила в агрегат строки вида:
|
||||||
|
|
||||||
|
```text
|
||||||
|
2026-06-23 / Сыктывкар / ОТ / productive / office / 18420 sec
|
||||||
|
```
|
||||||
|
|
||||||
|
то Grafana выполняет простой `SELECT sum(duration_sec) ... GROUP BY ...` по
|
||||||
|
маленькой таблице. Это дает кратный выигрыш и делает dashboard стабильным.
|
||||||
|
|
||||||
|
### Backfill и rebuild
|
||||||
|
|
||||||
|
Materialized View обрабатывает только новые вставки после создания MV.
|
||||||
|
Исторические данные нужно пересчитать отдельно.
|
||||||
|
|
||||||
|
Порядок:
|
||||||
|
|
||||||
|
1. создать aggregate table;
|
||||||
|
2. создать materialized view для новых данных;
|
||||||
|
3. выполнить `INSERT INTO aggregate SELECT ... FROM raw WHERE ...` за историю;
|
||||||
|
4. сверить суммы raw vs aggregate;
|
||||||
|
5. переключить Grafana на aggregate;
|
||||||
|
6. документировать rebuild-период, если справочники изменились.
|
||||||
|
|
||||||
|
Важно: если словари поменялись после агрегации, старые агрегаты сами не
|
||||||
|
пересчитаются. Для строгой актуальности нужен rebuild затронутого периода или
|
||||||
|
snapshot/history dimensions.
|
||||||
|
|
||||||
|
### Coverage aggregate для качества справочников
|
||||||
|
|
||||||
|
```sql
|
||||||
|
CREATE TABLE IF NOT EXISTS agg_aw_dictionary_coverage_daily
|
||||||
|
(
|
||||||
|
date Date,
|
||||||
|
source_type LowCardinality(String),
|
||||||
|
unknown_type LowCardinality(String),
|
||||||
|
unknown_key String,
|
||||||
|
events UInt64,
|
||||||
|
duration_sec UInt64
|
||||||
|
)
|
||||||
|
ENGINE = SummingMergeTree()
|
||||||
|
PARTITION BY toYYYYMM(date)
|
||||||
|
ORDER BY (date, source_type, unknown_type, unknown_key);
|
||||||
|
```
|
||||||
|
|
||||||
|
Эта таблица нужна, чтобы видеть:
|
||||||
|
|
||||||
|
- unknown workstations;
|
||||||
|
- unknown processes;
|
||||||
|
- unknown domains;
|
||||||
|
- динамику качества справочников.
|
||||||
|
|
||||||
|
### Grafana policy
|
||||||
|
|
||||||
|
После спринта 4 штатные dashboards должны читать:
|
||||||
|
|
||||||
|
- `agg_aw_desktop_hourly`;
|
||||||
|
- `agg_aw_browser_hourly`;
|
||||||
|
- `agg_aw_activity_daily`;
|
||||||
|
- `agg_aw_dictionary_coverage_daily`.
|
||||||
|
|
||||||
|
Raw tables допустимы только для расследований, drill-down и технической
|
||||||
|
диагностики.
|
||||||
|
|
||||||
|
### Monitoring
|
||||||
|
|
||||||
|
Минимальные проверки:
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT
|
||||||
|
table,
|
||||||
|
sum(rows) AS rows,
|
||||||
|
formatReadableSize(sum(bytes_on_disk)) AS size
|
||||||
|
FROM system.parts
|
||||||
|
WHERE active
|
||||||
|
GROUP BY table
|
||||||
|
ORDER BY rows DESC;
|
||||||
|
```
|
||||||
|
|
||||||
|
```sql
|
||||||
|
SELECT
|
||||||
|
name,
|
||||||
|
status,
|
||||||
|
element_count,
|
||||||
|
last_exception
|
||||||
|
FROM system.dictionaries
|
||||||
|
WHERE name LIKE 'dict_%';
|
||||||
|
```
|
||||||
|
|
||||||
|
### Retention
|
||||||
|
|
||||||
|
Начальная рекомендация:
|
||||||
|
|
||||||
|
| Слой | Retention |
|
||||||
|
|---|---|
|
||||||
|
| raw events | 90-180 дней или по политике проекта |
|
||||||
|
| hourly aggregates | 12-24 месяца |
|
||||||
|
| daily aggregates | 3-5 лет или по требованиям отчетности |
|
||||||
|
| dictionary coverage | 12 месяцев |
|
||||||
|
|
||||||
|
TTL включать только после согласования требований отчетности и хранения.
|
||||||
|
|
||||||
|
### Definition of Done
|
||||||
|
|
||||||
|
Спринт 4 считается завершенным, когда:
|
||||||
|
|
||||||
|
- создана `agg_aw_desktop_hourly`;
|
||||||
|
- создана `mv_aw_desktop_hourly`;
|
||||||
|
- создана `agg_aw_browser_hourly`;
|
||||||
|
- создана `mv_aw_browser_hourly`;
|
||||||
|
- создан daily aggregate layer;
|
||||||
|
- создан coverage aggregate для unknown значений;
|
||||||
|
- выполнен backfill хотя бы за один исторический период;
|
||||||
|
- сверены суммы raw vs aggregate;
|
||||||
|
- минимум один Grafana dashboard переключен на aggregate table;
|
||||||
|
- Grafana не выполняет штатные отчеты по raw events;
|
||||||
|
- документирован rebuild/backfill runbook;
|
||||||
|
- есть мониторинг таблиц, словарей и unknown coverage.
|
||||||
|
|
||||||
|
### Риски
|
||||||
|
|
||||||
|
| Риск | Митигация |
|
||||||
|
|---|---|
|
||||||
|
| MV не обработала исторические данные | обязательный backfill |
|
||||||
|
| Ошибка классификации попала в агрегаты | rebuild затронутого периода |
|
||||||
|
| Слишком высокая кардинальность aggregate | не тащить URL/title в основные агрегаты |
|
||||||
|
| Grafana продолжает читать raw tables | dashboard review и policy запрета raw для штатных панелей |
|
||||||
|
| Словари изменились после агрегации | rebuild или snapshot/history dimensions |
|
||||||
|
| Слишком много parts | контролировать batch insert, partitioning, merge health |
|
||||||
|
| Сложность `AggregatingMergeTree` | начинать с `SummingMergeTree` |
|
||||||
Reference in New Issue
Block a user