From ec11d8b303fa3f8513536cad17fe2e7e11847644 Mon Sep 17 00:00:00 2001 From: igor04091968 Date: Thu, 28 May 2026 11:15:31 +0300 Subject: [PATCH] docs: simplify dashboard landing pages --- README.md | 174 +++++++++++----------------------------------- docs/wiki/Home.md | 131 ++++++++++++---------------------- 2 files changed, 87 insertions(+), 218 deletions(-) diff --git a/README.md b/README.md index 9c52898..bbeb239 100755 --- a/README.md +++ b/README.md @@ -1,156 +1,64 @@ # AWatch-rus -Практический каркас проекта для повторного развёртывания ActivityWatch Server в новом окружении с LXC-контейнером на Proxmox, русифицированным Web UI, systemd-юнитами, шаблонными скриптами деплоя и эксплуатационной документацией. +AWatch-rus помогает спокойно смотреть, что происходит в рабочей среде: кто работал удаленно, сколько было активного времени, какие окна были открыты, были ли события безопасности и не пропали ли данные. -## Что входит +Первый экран проекта теперь не про установку и скрипты. Для повседневной работы начинайте с дашбордов. -- `docs/preparation.md` — подготовка инфраструктуры и входных параметров. -- `docs/codebase-onboarding.md` — обзор структуры репозитория и маршрут изучения для новичка. -- `docs/deployment.md` — пошаговый деплой LXC и ActivityWatch Server. -- `docs/runbook.md` — быстрый runbook для оператора. -- `docs/security-analytics-stack-v1.md` — текущий security analytics контур: Hayabusa, auto-case, scoring и Telegram alerts. -- `docs/operations.md` — регламент сопровождения, бэкапов, обновлений и rollback. -- `docs/GRAFANA_DASHBOARDS_RU.md` — импорт и сопровождение Grafana dashboard'ов через Ansible API playbook. -- `docs/PRESENTATION_RU.md` — презентационные экраны Grafana и AW-rus со скриншотами. -- `docs/1C_FILE_ANALYTICS_STACK_RU.md` — production guide по файловой 1С Detmir: topology, rollout, verification, recovery, task principal и hardening. -- `docs/1C_COMPANY_INTELLIGENCE_RU.md` — слой анализа и прогноза по компаниям поверх `clickhouse-1c`: marts, forecasting, API и Grafana; в file-based Detmir контуре это прогноз активности компаний/баз по read-only telemetry. -- `docs/1C_AI_INVESTIGATOR_RUNTIME_RU.md` — сводка текущего production runtime: manager pages, recovery briefs, weekly digest, company entity keys и live topology. -- `docs/windows/ensemble.md` — orchestration-пакет для Windows-деплоя и проверки. -- `docs/linux-client.md` — user-space rollout Linux-клиента ActivityWatch на удалённый `AW server`. -- `docs/linux-remote-worker.md` — полный Linux remote-worker stack: GUI, SSH/console и browser admin UI вроде Proxmox `:8006`. -- `docs/console-ssh-logger.md` — логирование только консольных команд и SSH-сессий в AW. -- `docs/dlp-gap-analysis.md` — разрыв до enterprise DLP и roadmap. -- `docs/dlp-aggregator.md` — прототип централизованной агрегации DLP/file-operation событий. -- `docs/dlp-reliability-roadmap.md` — roadmap повышения надёжности DLP-коллекторов. -- `docs/powershell-analysis.md` — статический анализ работоспособности DLP PowerShell-скриптов. -- `docs/DETMIR_POWERSHELL_MCP_REMOTE_RU.md` — канонический MCP/PowerShell remote path для DetMir Windows host через `SSH`, а не `WSMan`. -- `proxmox/` — шаблонные скрипты подготовки и наполнения CT на стороне Proxmox. -- `aw-server/` — установочные скрипты, env-шаблон, systemd unit, RU patch для Web UI и server-side worktime/management report API на `:5610`. -- `ansible/` — Ansible-ensemble для автоматизированного сервера (Debian/CT). -- `grafana/` — version-controlled Grafana dashboard JSON для RDP/worktime, DLP/ИБ и overview-экранов. -- `clickhouse-1c/` — отдельный analytics stack для **файловой 1С**: ETL, ClickHouse schema, detections, company intelligence marts/forecasting, Grafana catalog и AI Investigator contract. -- `pfsense/` — внешний poller для pfSense API и systemd unit под Debian/Ubuntu utility VM. -- `windows/` — PowerShell toolkit: single-user, domain-users, ensemble orchestration, hardening/recovery, validation, Windows/RDP DLP telemetry (`aw-dlp-incidents_*`, `aw-dlp-endpoint-signals_*`) и session-level presence для удалённых Windows/RDP пользователей (`aw-worktime-sessions_*`). -- `scripts/quality-gate.sh` — локальный preflight-пайплайн проверок. -- `scripts/aggregate_dlp_events.py` — сбор `aw-file-operations_*` и `aw-dlp-incidents_*` в SQLite/PostgreSQL. -- `scripts/install_aw_linux_client.sh` — установка Linux bundle + autostart для remote AW server. -- `scripts/install_aw_console_ssh_logger.sh` — user-space установка console/ssh logger. -- `scripts/install_aw_linux_web_category_logger.sh` — user-space классификация browser admin UI по title/class. -- `scripts/install_aw_linux_remote_worker.sh` — полный Linux remote-worker installer. -- `scripts/install_detmir_powershell_mcp.sh` — привязка локального `powershell-windows`/`pwsh` к DetMir Windows host `192.168.100.18`. +## Открыть дашборды -## Базовый сценарий +Основная страница: -1. Подготовить параметры окружения по `docs/preparation.md`. -2. Заполнить единый файл секретов `secrets/deploy.secrets.env` (автоподключение). -3. На узле Proxmox создать контейнер через `proxmox/create-ct.sh`. -4. Загрузить артефакты и серверный env в CT через `proxmox/push-aw-artifacts.sh`. -5. Внутри контейнера выполнить `aw-server/install_aw_server.sh`. -6. Применить русификацию Web UI через `aw-server/apply_webui_ru_patch.sh`. -7. Проверить API, Web UI и состояние systemd по `docs/runbook.md`. -8. Развернуть Windows-клиентов через `windows/deploy-ensemble.ps1`. -9. Проверить итог через `windows/validate-deployment.ps1`. +- [Grafana dashboards](http://10.10.10.11:3000/dashboards) -## Текущий security analytics контур +Полезные панели: -Сейчас в `AW-rus` уже есть замкнутый forensic-контур: +- `DetMir ActivityWatch` - общая картина по активности. +- `DetMir: Работа пользователей в RDP` - кто работал, когда и в каких сессиях. +- `DetMir: DLP и ИБ обзор` - копирование, печать, USB, браузеры и другие события безопасности. +- `DetMir: ИБ сводка для руководства` - короткая управленческая сводка без лишних деталей. +- `AW-rus: DLP обзор` - отдельный обзор DLP-потока. -- Windows-хост раз в `6` часов делает `EVTX export + upload`; -- `aw-hayabusa-drop.path` автоматически подхватывает новый пакет; -- `aw-hayabusa` строит forensic-отчёт; -- `aw-hayabusa-case-alert` считает severity и score; -- при уровне от `medium` создаётся или обновляется case; -- при уровне от `high` уходит Telegram alert; -- в case пишется только bounded metadata, без сырых EVTX и полного timeline body. +Дополнительные интерфейсы: -Практический операторский вход: +- [ActivityWatch Web UI](http://10.10.10.13:5600) - исходные события и детальный просмотр ActivityWatch. +- [Worktime reports](http://10.10.10.13:5610) - отчеты по рабочему времени, если сервис включен. -```powershell -powershell.exe -ExecutionPolicy Bypass -File C:\ProgramData\AWatch-rus\export-upload-hayabusa-to-aw-server.ps1 -HoursBack 6 -CaseId 30 -``` +## Что видно без технических деталей -Подробности: +- Работал ли пользователь за компьютером или в RDP-сессии. +- Когда была активность, простой и переключение окон. +- Какие приложения, сайты и процессы чаще всего были в работе. +- Есть ли события, важные для ИБ: копирование, печать, USB, подозрительные сайты. +- Не пропали ли данные с рабочих компьютеров и RDP-сессий. -- `docs/security-analytics-stack-v1.md` -- `docs/runbook.md` -- `docs/hayabusa-operator-ib-guide-2026-05-14.md` +## Кому это полезно -Для полного Ansible-сценария “с нуля” в Proxmox используйте: +- Руководителю - быстро увидеть рабочую картину без просмотра логов. +- ИБ - заметить DLP-сигналы и подозрительную активность. +- Администратору - проверить, что сборщики и сервер работают стабильно. -- `ansible/provision_proxmox_ct_and_deploy_aw.yml` -- `ansible/provision_proxmox_ct_matrix_and_deploy_aw.yml` (массово по матрице CT) +## Если дашборд пустой -Для централизованного деплоя Windows/RDP-клиентов через WinRM: +Обычно это значит одно из трех: выбран слишком узкий период времени, рабочий компьютер давно не присылал события или временно не обновилась витрина в Grafana. Начните с периода `Last 24 hours`, затем переходите к техническим разделам ниже. -- `ansible/deploy_aw_windows.yml` +## Техническая документация -Для интерактивной PowerShell/MCP-работы с DetMir Windows host из Linux: +Для эксплуатации и настройки: -- `docs/DETMIR_POWERSHELL_MCP_REMOTE_RU.md` -- `scripts/install_detmir_powershell_mcp.sh` +- [Wiki home](docs/wiki/Home.md) +- [Getting Started and Prerequisites](docs/wiki/Getting-Started-and-Prerequisites.md) +- [Server Infrastructure](docs/wiki/Server-Infrastructure.md) +- [Operations, CI/CD, and Quality Assurance](docs/wiki/Operations-CI-CD-and-Quality-Assurance.md) +- [Full deployment manual](docs/FULL_DEPLOYMENT_MANUAL_RU.md) -Для внешнего pfSense poller'а: +Для мониторинга: -- `ansible/deploy_aw_pfsense_poller.yml` +- [Grafana and Prometheus Monitoring Stack](docs/wiki/Grafana-and-Prometheus-Monitoring-Stack.md) +- [Grafana dashboards guide](docs/GRAFANA_DASHBOARDS_RU.md) +- [Prometheus Exporter](docs/wiki/Prometheus-Exporter.md) -Для импорта Grafana dashboard'ов через HTTP API: +Для сборщиков и интерфейса: -- `ansible/deploy_grafana_dashboards.yml` -- `ansible/deploy_proxmox_web_gateway.yml` -- `docs/GRAFANA_DASHBOARDS_RU.md` -- `docs/1C_FILE_ANALYTICS_STACK_RU.md` - -Для Linux desktop/admin host, который должен слать watcher'ы на удалённый AW server: - -- `docs/linux-client.md` -- `scripts/install_aw_linux_client.sh` - -Для полного Linux remote-worker сценария: - -- `docs/linux-remote-worker.md` -- `scripts/install_aw_linux_remote_worker.sh` - -Для режима “только консоль/ssh” без GUI watcher'ов: - -- `docs/console-ssh-logger.md` -- `scripts/install_aw_console_ssh_logger.sh` - -Скрипты `proxmox/create-ct.sh` и `proxmox/push-aw-artifacts.sh` по умолчанию читают: - -- `secrets/deploy.secrets.env` - -## Принципы - -- Никаких реальных секретов, токенов и боевых IP в репозитории. -- Все переменные вынесены в `.example` / `.env` шаблоны. -- Документация ориентирована на повторяемое развёртывание, а не на одноразовую ручную установку. -- Rollback и backup описаны как обязательная часть каждой операции. - -## Минимальная структура - -- CT/LXC на Debian 12 -- ActivityWatch Server Rust release -- Web UI override в `/opt/activitywatch/webui-ru` -- systemd unit `activitywatch-server.service` -- bind/listen через переменные окружения - -## Ограничения - -- Базовый серверный контур AW-rus работает и без Grafana/InfluxDB. -- Для управленческих и ИБ-dashboard'ов нужен отдельный мониторинговый стек: Grafana + InfluxDB. -- Часть интеграционных сценариев всё ещё требует внешних систем: pfSense, 1С, почтовый контур, SQL/monitoring stack. - -## Быстрые ссылки - -- `/mnt/usb_hdd2/Projects/ActivityWatch-Russian/docs/FULL_DEPLOYMENT_MANUAL_RU.md` -- `/home/igor/tmp/AWatch-rus/docs/windows/ensemble.md` -- `docs/preparation.md` -- `docs/deployment.md` -- `docs/runbook.md` -- `docs/operations.md` -- `docs/GRAFANA_DASHBOARDS_RU.md` -- `docs/PRESENTATION_RU.md` -- `proxmox/create-ct.sh` -- `aw-server/install_aw_server.sh` -- `windows/deploy-ensemble.ps1` -- `windows/validate-deployment.ps1` +- [Windows Collector Suite](docs/wiki/Windows-Collector-Suite.md) +- [Worktime API and UI Bridge](docs/wiki/Worktime-API-and-UI-Bridge.md) +- [Russian WebUI Patch and Localization](docs/wiki/Russian-WebUI-Patch-and-Localization.md) diff --git a/docs/wiki/Home.md b/docs/wiki/Home.md index 2dcf044..228fe58 100644 --- a/docs/wiki/Home.md +++ b/docs/wiki/Home.md @@ -1,105 +1,66 @@ -# ActivityWatch-Russian Documentation +# AWatch-rus: рабочий экран -Добро пожаловать в документацию ActivityWatch-Russian - корпоративной системы мониторинга активности на базе ActivityWatch с русификацией и DLP функциями. +Эта страница - короткий вход в систему. Для обычной работы не нужно начинать с установки, служб и конфигов: сначала откройте дашборды и посмотрите, есть ли данные. -## 📚 Содержание +## Открыть дашборды -### Production guide -- [1.2 Getting Started and Prerequisites](Getting-Started-and-Prerequisites) - обязательные env-переменные, Influx token'ы и preflight validation -- [2.2 Server Infrastructure](Server-Infrastructure) - retention, journald limits и `aw-prune-local-state` -- [2.3 Russian WebUI Patch and Localization](Russian-WebUI-Patch-and-Localization) - runtime RU patch, DLP links и navigation fixes -- [2.4 Worktime API and UI Bridge](Worktime-API-and-UI-Bridge) - cache, build locks, trend optimization и foreground context -- [3 Windows Collector Suite](Windows-Collector-Suite) - RDP/session/process collectors, recovery и локализованный Administrator -- [7 Grafana and Prometheus Monitoring Stack](Grafana-and-Prometheus-Monitoring-Stack) - Influx exporters, token validation и Grafana checks -- [8 Operations, CI/CD, and Quality Assurance](Operations-CI-CD-and-Quality-Assurance) - тесты, autoheal и rollout checks +- [Grafana dashboards](http://10.10.10.11:3000/dashboards) - основная страница со всеми панелями. +- [ActivityWatch Web UI](http://10.10.10.13:5600) - детальный просмотр исходных событий. +- [Worktime reports](http://10.10.10.13:5610) - отчеты по рабочему времени, если сервис включен. -### Архитектура -- [Обзор архитектуры](Architecture) - высокоуровневая архитектура системы -- [Компоненты системы](Components) - описание всех компонентов -- [Интерактивная карта](Interactive-Map) - визуальная карта связей -- [ИБ-профиль DLP](../dlp-security-functional-spec-ru.md) - подробное описание реализованного DLP/monitoring-контура для службы ИБ -- [Runtime status: DLP chain](../dlp-runtime-chain-status-2026-05-13.md) - фактический live-статус policy/cases/integrations/compliance -- [Runtime status: Content analysis](../dlp-content-analysis-runtime-status-2026-05-13.md) - фактический live-статус dictionary/regex/OCR/IOC -- [Hayabusa AW-rus integration](../hayabusa-aw-rus-integration-2026-05-14.md) - bounded DFIR enrichment path для incidents/cases/operator flow -- [Hayabusa operator and IB guide](../hayabusa-operator-ib-guide-2026-05-14.md) - когда запускать forensic path, где лежат артефакты и какие у него границы -- [Hayabusa Security Analytics](Hayabusa-Security-Analytics) - текущий production-контур: auto-upload, auto-case, severity scoring и Telegram alerts -- [Security analytics stack v1](../security-analytics-stack-v1.md) - целевая v1-модель без претензии на Splunk-class SIEM -- [File 1C analytics](File-1C-Analytics) - ClickHouse/Grafana/AI Investigator контур для файловой 1С -- [1C Company Intelligence](1C-Company-Intelligence) - AI-ready слой анализа и прогноза по компаниям поверх файловой 1С -- [1C AI Investigator Runtime](../1C_AI_INVESTIGATOR_RUNTIME_RU.md) - что уже реально сделано в production: topology, manager UI, briefs, recovery и границы контура +## Что смотреть в первую очередь -### Компоненты -- [DLP Endpoint Monitoring](DLP-Endpoint-Monitoring) - мониторинг clipboard, печати, USB -- [Browser Domains Monitoring](Browser-Domains-Monitoring) - мониторинг браузеров -- [Email Outbound Monitoring](Email-Outbound-Monitoring) - мониторинг почты -- [WebUI Русификация](WebUI-Russian-Patches) - патчи интерфейса -- [DLP Агрегация](DLP-Aggregation) - обработка DLP событий -- [Prometheus Exporter](Prometheus-Exporter) - метрики для мониторинга +- `DetMir ActivityWatch` - общий обзор активности. +- `DetMir: Работа пользователей в RDP` - рабочие сессии пользователей. +- `DetMir: DLP и ИБ обзор` - копирование, печать, USB, браузеры и другие события безопасности. +- `DetMir: ИБ сводка для руководства` - короткая картина для управленческого просмотра. +- `AW-rus: DLP обзор` - отдельный фокус на DLP-событиях. -### Развертывание -- [Установка на Windows](Windows-Installation) - установка коллекторов -- [Настройка сервера](Server-Setup) - настройка Linux сервера -- [Grafana + Prometheus](Monitoring-Setup) - мониторинг стек -- [Windows startup model](../windows-deploy-startup-model.md) - canonical startup model для RDP/standalone deployment +## Простая расшифровка -### Конфигурация -- [DLP Правила](DLP-Rules) - настройка DLP политик -- [Категоризация сайтов](Web-Categorization) - настройка категорий -- [Группы хостов](Host-Groups) - управление группами +- Если есть активность - данные с рабочих мест приходят. +- Если графики пустые - сначала проверьте выбранный период времени. +- Если видны события безопасности - их стоит смотреть вместе с пользователем, временем и контекстом окна. +- Если данные резко пропали - переходите к разделу эксплуатации и проверок. -## 🚀 Быстрый старт +## Для кого -### Минимальная конфигурация -```bash -# 1. Развернуть сервер -cd ansible -ansible-playbook -i inventory.ini deploy_aw_server.yml +- Руководителю: посмотреть рабочую картину без логов и технической детализации. +- ИБ: увидеть события, которые могут требовать внимания. +- Администратору: быстро понять, живы ли сбор данных, API, InfluxDB и Grafana. -# 2. Развернуть Windows collectors -AW_WINRM_PASSWORD='...' bash ./run_deploy_aw_windows.sh +## Технические разделы -# 3. Проверить операторский forensic path -powershell.exe -ExecutionPolicy Bypass -File C:\ProgramData\AWatch-rus\export-upload-hayabusa-to-aw-server.ps1 -HoursBack 6 -CaseId 30 -``` +### Эксплуатация -### Полная конфигурация -```bash -# 1. Развертывание на Windows -.\windows\deploy-domain-users.ps1 +- [1.2 Getting Started and Prerequisites](Getting-Started-and-Prerequisites) - обязательные переменные окружения, Influx token'ы и preflight validation. +- [2.2 Server Infrastructure](Server-Infrastructure) - сервер, retention, journald limits и `aw-prune-local-state`. +- [8 Operations, CI/CD, and Quality Assurance](Operations-CI-CD-and-Quality-Assurance) - тесты, autoheal, rollout checks и диагностика. +- [Настройка сервера](Server-Setup) - базовая настройка Linux-сервера. -# 2. Настройка сервера -cd ansible -ansible-playbook server-setup.yml +### Дашборды и мониторинг -# 3. Запуск мониторинга стека -cd ../grafana-1c -docker-compose up -d +- [7 Grafana and Prometheus Monitoring Stack](Grafana-and-Prometheus-Monitoring-Stack) - Grafana, Prometheus, Influx exporters и token validation. +- [Grafana + Prometheus](Monitoring-Setup) - мониторинговый стек. +- [Prometheus Exporter](Prometheus-Exporter) - метрики для внешнего мониторинга. -# 4. Для файловой 1С поднять ClickHouse/Grafana scaffold -cd ../clickhouse-1c -docker compose up -d +### Сборщики Windows -# 5. Агрегация DLP событий -python3 scripts/aggregate_dlp_events.py -``` +- [3 Windows Collector Suite](Windows-Collector-Suite) - RDP/session/process collectors, recovery и локализованный Administrator. +- [Установка на Windows](Windows-Installation) - установка Windows collectors. +- [Browser Domains Monitoring](Browser-Domains-Monitoring) - сбор доменов браузеров. +- [DLP Endpoint Monitoring](DLP-Endpoint-Monitoring) - clipboard, печать, USB и endpoint-события. -## 📊 Обзор системы +### Интерфейс и отчеты -ActivityWatch-Russian - это корпоративная система мониторинга активности пользователей с: +- [2.3 Russian WebUI Patch and Localization](Russian-WebUI-Patch-and-Localization) - русификация, DLP links и navigation fixes. +- [2.4 Worktime API and UI Bridge](Worktime-API-and-UI-Bridge) - API отчетов, cache, build locks и foreground context. +- [WebUI Русификация](WebUI-Russian-Patches) - патчи интерфейса. -- **DLP мониторинг** - clipboard, печать, USB, браузеры, email -- **Русификация** - полный перевод интерфейса на русский -- **Аналитика** - агрегация данных и отчеты -- **Мониторинг** - Prometheus + Grafana дашборды -- **Автоматизация** - Ansible деплой на Windows и Linux -- **Security analytics** - Hayabusa, auto-case, severity scoring, Telegram alerts +### Архитектура и дополнительные контуры -## 🔗 Ссылки - -- [GitHub Repository](https://github.com/igor04091968/AWatch-rus) -- [ActivityWatch Official](https://activitywatch.net/) -- [Примеры конфигураций](https://github.com/igor04091968/AWatch-rus/tree/main/grafana-1c) - -## 📝 Поддержка - -Для вопросов и предложений используйте [Issues](https://github.com/igor04091968/AWatch-rus/issues). +- [Обзор архитектуры](Architecture) - высокоуровневая архитектура системы. +- [Компоненты системы](Components) - описание компонентов. +- [Интерактивная карта](Interactive-Map) - визуальная карта связей. +- [Hayabusa Security Analytics](Hayabusa-Security-Analytics) - security analytics, auto-case, scoring и Telegram alerts. +- [File 1C analytics](File-1C-Analytics) - ClickHouse/Grafana/AI Investigator контур для файловой 1С.