167 lines
9.1 KiB
Markdown
167 lines
9.1 KiB
Markdown
# Матрица проверки контура AWatch-rus
|
|
|
|
Дата фиксации: 2026-06-21.
|
|
|
|
Документ описывает ежедневную и еженедельную проверку эксплуатационного контура
|
|
AWatch-rus. Он не является заявлением о сертификации, не подменяет юридическую
|
|
экспертизу и не описывает GitHub Actions как основной контур выпуска.
|
|
|
|
## Цель
|
|
|
|
Ежедневная проверка должна отвечать на один вопрос: можно ли оператору считать
|
|
контур AWatch-rus пригодным для работы сегодня без ручного обхода всех
|
|
компонентов.
|
|
|
|
Еженедельная проверка расширяет ежедневную: добавляет portal smoke, registry
|
|
docs check и доказательные артефакты для последующего release/readiness пакета.
|
|
|
|
## Канонический запуск
|
|
|
|
Основной запускной скрипт:
|
|
|
|
```bash
|
|
scripts/run_awatch_contour_check.sh
|
|
```
|
|
|
|
## Локальный запуск с ноутбука
|
|
|
|
Для ручной проверки на ноутбуке удобно явно указать env-файл и корень артефактов:
|
|
|
|
```bash
|
|
export CONTOUR_CHECK_ENV_FILE=~/path/to/your/contour-check.env
|
|
export CONTOUR_CHECK_OUTPUT_ROOT=~/tmp/contour-check-runs
|
|
export CONTOUR_CHECK_STREAM=1
|
|
scripts/run_awatch_contour_check.sh
|
|
```
|
|
|
|
Во время выполнения можно наблюдать прогресс отдельным окном:
|
|
|
|
```bash
|
|
ls -dt ~/tmp/contour-check-runs/* | head -n 1 | xargs -r -I{} tail -f {}/logs/detmir-check-json.log
|
|
```
|
|
|
|
`CONTOUR_CHECK_STREAM=1` полезен для локального запуска, если кажется, что скрипт «завис» на `== detmir-check-json ==`; фактически это длительный шаг в `detmir-check` с таймаутами по каждому endpoint.
|
|
|
|
Рекомендуемые systemd units для российского/internal контура:
|
|
|
|
```text
|
|
ops/systemd/awatch-contour-daily-check.service
|
|
ops/systemd/awatch-contour-daily-check.timer
|
|
ops/systemd/awatch-contour-weekly-check.service
|
|
ops/systemd/awatch-contour-weekly-check.timer
|
|
```
|
|
|
|
Live endpoints, hostnames, tokens and passwords must be supplied through
|
|
`/etc/detmir/detmir-check.env` (systemd units) or another private environment
|
|
file outside the public repository.
|
|
|
|
Production note checked on 2026-06-24:
|
|
|
|
- `DETMIR_PORTAL_URL` must point to the local DetMir portal listener,
|
|
currently `http://127.0.0.1:8720`, for server-side health checks. If it is
|
|
omitted, `detmir-check` falls back to the public HTTPS gateway and protected
|
|
`/readyz`, `/version` and `/metrics` can correctly return `401`, producing a
|
|
false operational failure.
|
|
- `DETMIR_GATEWAY_HOST=127.0.0.1` is used with the local listener so the Host
|
|
header does not accidentally select the public protected gateway path.
|
|
- Cold `/api/reports` builds can take more than 60 seconds on the live contour
|
|
when cache is empty or concurrent checks are active. The production
|
|
`detmir-portal-prewarm.service` therefore uses `curl --max-time 180` and
|
|
`TimeoutStartSec=210`. Shorter 45-60 second limits caused false failed
|
|
systemd states while the portal eventually returned HTTP 200.
|
|
|
|
## Текущий планировщик Proxmox, проверено 2026-06-21
|
|
|
|
На Proxmox уже присутствуют следующие регулярные проверки:
|
|
|
|
| Timer | Частота | Роль |
|
|
|---|---:|---|
|
|
| `detmir-auto.timer` | каждые 30 минут | общий read-only check, AI report и safe recovery |
|
|
| `detmir-readiness-sync.timer` | каждые 10 минут | синхронизация readiness bundle |
|
|
| `detmir-portal-prewarm.timer` | каждые 30 минут | прогрев portal report cache |
|
|
| `aw-1c-clickhouse-health.timer` | каждые 5 минут | здоровье ClickHouse/1C layer |
|
|
| `aw-1c-ingest.timer` | каждые 15 минут | ingest cycle 1C/file layer |
|
|
| `aw-1c-proofcheck.timer` | каждые 6 часов | freshness proof check |
|
|
| `aw-1c-manager-brief.timer` | каждые 6 часов | manager brief |
|
|
| `aw-1c-recovery-brief.timer` | каждые 6 часов | recovery brief |
|
|
| `aw-1c-weekly-digest.timer` | понедельник 08:20 | weekly executive digest |
|
|
| `proxmox-lxc-critical-updates-check.timer` | ежедневно 03:00 | critical/important updates check |
|
|
|
|
Наблюдение: отдельный ежедневный полный gate по всей матрице AWatch-rus
|
|
отсутствует. Его роль должен закрыть `awatch-contour-daily-check.timer`.
|
|
|
|
Историческое наблюдение 2026-06-24: `detmir-portal-prewarm.service` был найден
|
|
в failed state из-за устаревшего `curl --max-time 60` для холодной сборки
|
|
`/api/reports`. В текущей ветке это оформлено как отдельный prewarm/resilience
|
|
пакет, а не как обязательная часть DLP production hot path.
|
|
|
|
## Матрица требований и проверок
|
|
|
|
| Область | Что проверяется | Исполнитель | Ежедневно | Еженедельно |
|
|
|---|---|---|---:|---:|
|
|
| ActivityWatch API | `/api/0/info`, доступность API | `detmir-check` | да | да |
|
|
| Worktime API | `/reports/worktime/today` | `detmir-check` | да | да |
|
|
| 1C API | `/api/health` | `detmir-check` | да | да |
|
|
| Gateway | `/healthz` | `detmir-check` | да | да |
|
|
| Portal hardening | `/healthz`, `/readyz`, `/version`, `/metrics` | `detmir-check` | да | да |
|
|
| Windows/RDP | TCP 5985 и 22 | `detmir-check` | да | да |
|
|
| ActivityWatch buckets | AFK/window/worktime/session events | `detmir-check` | да | да |
|
|
| AWatch DLP buckets | endpoint signals/incidents/review/rules, только если DLP включен | `detmir-check` | условно | условно |
|
|
| AWatch DLP health | disabled/core_only должен быть SKIPPED/WARN, `light/full` проверяются через `detmir-dlp` | `detmir-check` | да | да |
|
|
| Grafana evidence | свежий JSON артефакт Grafana check | `detmir-check` | да | да |
|
|
| Security events backend | ClickHouse events, если включено | `detmir-check` | да | да |
|
|
| Portal contract | role/API smoke | `scripts/awatch-production-hardening-smoke.mjs` | нет | да |
|
|
| Pilot contract | demo/API smoke | `scripts/detmir-pilot-demo-smoke.mjs` | нет | да |
|
|
| Registry/readiness docs | registry readiness check | `scripts/registry_readiness_check.sh` | опционально | да |
|
|
|
|
## Timeout/fail-closed параметры live contour
|
|
|
|
После ручного live-прогона 2026-06-24 production
|
|
`/etc/detmir/detmir-check.env` должен содержать bounded timeouts, соответствующие
|
|
фактической latency AW datastore:
|
|
|
|
```env
|
|
DETMIR_SERVICE_TIMEOUT_SECONDS=35
|
|
DETMIR_BUCKET_TIMEOUT_SECONDS=35
|
|
DETMIR_DLP_TIMEOUT_SECONDS=120
|
|
DETMIR_CHECK_OVERALL_TIMEOUT_SECONDS=300
|
|
```
|
|
|
|
Назначение:
|
|
|
|
- не считать bucket `DEAD` только из-за штатной 15-30 секундной latency
|
|
большого SQLite datastore;
|
|
- не оставлять `detmir-check`, `detmir-dlp`, `ssh` и remote
|
|
`dlp-health-check` хвосты при timeout;
|
|
- сохранять красный non-zero результат при реальной недоступности, но
|
|
завершать проверку bounded.
|
|
|
|
## Fail-closed политика
|
|
|
|
Ежедневный check должен завершаться non-zero, если падает обязательная область:
|
|
|
|
- ActivityWatch API;
|
|
- Worktime API;
|
|
- Gateway/Portal health;
|
|
- RDP/Windows reachability;
|
|
- свежесть обязательных bucket streams;
|
|
- AWatch DLP health только если DLP runtime включен; при штатном
|
|
`AW_DLP_ENABLED=false`/`core_only` disabled-state не является отказом
|
|
Workforce/Worktime core;
|
|
- Grafana evidence freshness.
|
|
|
|
Event-driven buckets не должны считаться stale только из-за отсутствия новых
|
|
инцидентов. Для них фиксируется статус `EVENT-DRIVEN`.
|
|
|
|
## Что ещё требуется довести
|
|
|
|
- Развернуть `awatch-contour-daily-check.timer` на Proxmox после установки
|
|
обновленного `detmir-check`.
|
|
- Развернуть `awatch-contour-weekly-check.timer` для расширенного smoke/docs
|
|
контроля.
|
|
- Заполнить `/etc/awatch-rus/contour-check.env` live значениями без записи
|
|
секретов в репозиторий.
|
|
- Настроить retention для `.ops/contour-check-runs` или серверного output path.
|
|
- После первого успешного недельного запуска приложить summary к
|
|
registry/readiness evidence пакету.
|