docs: add DetMir support task list

2026-06-17 23:01:54 +03:00
parent 525f45e0f7
commit b7209771f6
1 changed files with 109 additions and 0 deletions
@@ -0,0 +1,109 @@
+# Задачи поддержки комплекса DetMir
+
+Документ описывает регулярные и инцидентные работы, которые должны входить в
+сопровождение производственного комплекса DetMir на базе AWatch-rus,
+ActivityWatch, Windows/RDP-коллекторов, Grafana, ClickHouse, 1C-аналитики и
+операторского gateway.
+
+## Цель поддержки
+
+Поддержка должна обеспечивать не формальное состояние сервисов `active`, а
+доказуемую работоспособность всего контура: свежие данные в bucket'ах,
+корректные отчеты для владельца, рабочие дашборды, доступность gateway,
+исправные Windows-задачи и отсутствие накопленных очередей.
+
+## Ежедневные задачи
+
+- Проверять свежесть данных ActivityWatch: AFK, window, worktime sessions,
+  web category, DLP endpoint signals, file operations, email, collector guard.
+- Проверять состояние RDP-хоста `SHARKON2025`: активные и отключенные сессии,
+  зависшие PowerShell-процессы, дубли `aw-watcher-*`, process storm.
+- Проверять Windows-задачи и сервисы:
+  `AWatchRusCollectorGuard`, `ActivityWatch Recovery`,
+  `ActivityWatch Launch [...]`, `ActivityWatch File1C Upload`,
+  `ActivityWatch DLP Evidence Sync`, `ActivityWatch Hayabusa Upload`.
+- Проверять доступность AW server, worktime API, Grafana, gateway,
+  1C manager brief/actions/recovery.
+- Проверять ClickHouse-контур: состояние Docker-контейнера, healthcheck,
+  сетевую доступность с AW-сервера, ingest timer, свежесть данных.
+- Проверять ошибки в логах collector guard, browser collector, DLP,
+  file operations, File1C upload, DLP evidence sync и Hayabusa upload.
+- Реагировать на `STALE`/`DEAD` bucket'ы точечно: перезапускать конкретный
+  collector, scheduled task или guard, а не выполнять массовые рестарты без
+  диагностики.
+- Проверять, что owner-facing ссылки через gateway открываются штатно и не
+  требуют доступа к внутренним портам.
+
+## Еженедельные задачи
+
+- Готовить короткий отчет владельцу: что работало, что ломалось, какие периоды
+  данных неполные, что было исправлено.
+- Проверять основные Grafana-дашборды и корректность отображения сотрудников.
+- Контролировать отсутствие дублей пользователей в отчетах: `USER5/user5`,
+  машинные аккаунты, битая кодировка, неверная кириллица.
+- Проверять накопление файлов в drop/inbox зонах Hayabusa, File1C и ClickHouse.
+- Проверять свободное место, память, pagefile, Docker, nginx, systemd timers и
+  журналы ошибок на серверной стороне.
+- Проверять, что scheduled tasks имеют ожидаемые интервалы запуска и последние
+  результаты без ошибок.
+- Просматривать небольшие исправления и обновления, которые можно применить без
+  риска простоя.
+
+## Ежемесячные задачи
+
+- Проверять резервные копии Grafana DB, ClickHouse-конфигов и данных,
+  ActivityWatch-конфигов, Windows deployment config, SSH-ключей и gateway
+  credentials.
+- Проводить контрольное восстановление ключевых частей контура: AW server,
+  gateway, Grafana, ClickHouse ingest, Windows collectors.
+- Выполнять аудит доступов: Basic Auth, SSH, WinRM, открытые порты,
+  сертификаты, firewall.
+- Обновлять эксплуатационную документацию: IP-адреса, сервисы, task names,
+  owner-facing ссылки, команды восстановления.
+- Проверять качество перед изменениями: Ansible syntax-check, PowerShell parse,
+  Rust tests/build для затронутых компонентов.
+
+## Инцидентные задачи
+
+- Восстанавливать сбор данных после остановки collector'ов или Windows-задач.
+- Лечить зависшие RDP-сессии, stale watcher bucket'ы и дубли процессов.
+- Перезапускать или пересоздавать конкретные Windows scheduled tasks.
+- Устранять process storm, нехватку памяти и проблемы pagefile.
+- Восстанавливать DLP endpoint signals и DLP evidence sync.
+- Восстанавливать File1C upload, server ingest и ClickHouse health.
+- Восстанавливать Hayabusa EVTX upload, drop processing и очереди intake.
+- Исправлять Grafana-дашборды, gateway routes и права доступа.
+- Проводить ручную валидацию после аварии: bucket freshness, отчеты,
+  gateway/Grafana HTTP-коды и отсутствие новых ошибок в логах.
+
+## Изменения и развитие
+
+- Все изменения выполнять по схеме backup-first.
+- Перед деплоем проверять синтаксис, тесты и применимость к текущему окружению.
+- После деплоя проверять живые endpoints, timers, bucket freshness и
+  owner-facing дашборды.
+- Не переписывать стабильные компоненты без причины; новые сервисные утилиты
+  делать автономными, systemd-friendly и с явными timeout'ами.
+- Вести журнал изменений: что изменено, причина, дата, как проверить и как
+  откатить.
+
+## Минимальный SLA
+
+- Плановый контроль: один раз в рабочий день.
+- Реакция на критичный сбой сбора данных: в течение 2-4 часов.
+- Еженедельный отчет владельцу.
+- Плановые изменения только с резервной копией и проверкой результата.
+- После каждого инцидента: краткое описание причины, выполненных действий и
+  мер против повторения.
+
+## Критерии приемки поддержки
+
+- Все ключевые bucket'ы свежие или по каждому stale/dead bucket есть объяснение
+  и план восстановления.
+- Владелец видит отчеты через защищенный gateway, без доступа к внутренним
+  техническим портам.
+- Windows/RDP collector'ы работают в правильных пользовательских сессиях.
+- ClickHouse, File1C, DLP и Hayabusa не имеют накопленных необработанных
+  очередей.
+- Любое исправление подтверждается командой проверки, логом или HTTP-кодом, а
+  не только статусом systemd/Task Scheduler.