TASK_009
Added a detailed conformance audit document for DetMir/AWatch roadmap, outlining required checks, goals, and audit areas.
This commit is contained in:
@@ -0,0 +1,388 @@
|
|||||||
|
# docs/roadmap/TASK_011_DETMIR_ROADMAP_CONFORMANCE_AUDIT.md
|
||||||
|
|
||||||
|
## Рекомендуемые параметры
|
||||||
|
|
||||||
|
Mode: xhigh
|
||||||
|
Reasoning: maximum
|
||||||
|
Task type: conformance audit / product verification
|
||||||
|
Quality bar: production-ready
|
||||||
|
Breaking changes: forbidden
|
||||||
|
Architecture changes: forbidden
|
||||||
|
New features: forbidden
|
||||||
|
Code changes: discouraged unless fixing broken checks
|
||||||
|
Simplifications: forbidden
|
||||||
|
|
||||||
|
Required checks:
|
||||||
|
|
||||||
|
```bash
|
||||||
|
cargo fmt --all --check
|
||||||
|
cargo clippy --all-targets --all-features -- -D warnings
|
||||||
|
cargo test --all
|
||||||
|
cargo build --release
|
||||||
|
node scripts/deployment-readiness-smoke.mjs
|
||||||
|
node scripts/pilot-validation-smoke.mjs
|
||||||
|
AWATCH_PORTAL_SMOKE_URL=http://127.0.0.1:8720 node scripts/awatch-production-hardening-smoke.mjs
|
||||||
|
```
|
||||||
|
|
||||||
|
## Цель
|
||||||
|
|
||||||
|
Проверить, что фактически работающий DetMir/AWatch-rus соответствует текущему roadmap, документации, заявленным контрактам и демо-сценариям.
|
||||||
|
|
||||||
|
Не добавлять новую функциональность.
|
||||||
|
|
||||||
|
Главная задача — найти расхождения между:
|
||||||
|
|
||||||
|
* тем, что заявлено в roadmap;
|
||||||
|
* тем, что заявлено в README/docs;
|
||||||
|
* тем, что реально работает в API/портале/отчетах/агенте;
|
||||||
|
* тем, что проверяют smoke tests.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Область проверки
|
||||||
|
|
||||||
|
Проверить соответствие следующих блоков:
|
||||||
|
|
||||||
|
1. Production hardening
|
||||||
|
2. Explainable KPI
|
||||||
|
3. Risk Narrative
|
||||||
|
4. Executive Action Center
|
||||||
|
5. Rust Agent Baseline
|
||||||
|
6. Demo Pack
|
||||||
|
7. Registry Readiness
|
||||||
|
8. Enterprise Deployment Guide
|
||||||
|
9. Pilot Validation readiness
|
||||||
|
10. Optional integrations positioning
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Что проверить
|
||||||
|
|
||||||
|
### 1. Roadmap Status Audit
|
||||||
|
|
||||||
|
Проверить файлы:
|
||||||
|
|
||||||
|
```text
|
||||||
|
docs/roadmap/
|
||||||
|
```
|
||||||
|
|
||||||
|
Для каждой задачи проверить:
|
||||||
|
|
||||||
|
* есть ли статус выполнения;
|
||||||
|
* соответствует ли статус реальному состоянию;
|
||||||
|
* есть ли ссылка на commit, если она уже добавлялась;
|
||||||
|
* нет ли задач со статусом done, но без реализации;
|
||||||
|
* нет ли реализованного функционала, который не отражен в roadmap.
|
||||||
|
|
||||||
|
Результат оформить в:
|
||||||
|
|
||||||
|
```text
|
||||||
|
docs/ROADMAP_CONFORMANCE_AUDIT_RU.md
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 2. README Claims Audit
|
||||||
|
|
||||||
|
Проверить README.md.
|
||||||
|
|
||||||
|
Найти:
|
||||||
|
|
||||||
|
* claims, которые подтверждаются кодом;
|
||||||
|
* claims, которые подтверждаются только документацией;
|
||||||
|
* claims, которые требуют уточнения;
|
||||||
|
* claims, которые нужно убрать или смягчить.
|
||||||
|
|
||||||
|
Особенно проверить, что README не заявляет:
|
||||||
|
|
||||||
|
* полноценную DLP;
|
||||||
|
* полноценную SIEM;
|
||||||
|
* EDR/XDR;
|
||||||
|
* ML/LLM scoring;
|
||||||
|
* обязательный pfSense;
|
||||||
|
* готовый React/Tauri UI;
|
||||||
|
* auto-remediation.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 3. API Conformance Audit
|
||||||
|
|
||||||
|
Проверить, что реально существуют и работают endpoints:
|
||||||
|
|
||||||
|
```http
|
||||||
|
GET /healthz
|
||||||
|
GET /readyz
|
||||||
|
GET /version
|
||||||
|
GET /metrics
|
||||||
|
GET /api/reports
|
||||||
|
GET /api/workforce/kpi/explain
|
||||||
|
GET /api/risk/narrative
|
||||||
|
GET /api/actions
|
||||||
|
```
|
||||||
|
|
||||||
|
Проверить:
|
||||||
|
|
||||||
|
* JSON response shape;
|
||||||
|
* наличие request id / correlation id headers;
|
||||||
|
* role gates;
|
||||||
|
* query limits;
|
||||||
|
* report range limits;
|
||||||
|
* Prometheus metrics format.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 4. Portal Conformance Audit
|
||||||
|
|
||||||
|
Проверить UI/portal routes.
|
||||||
|
|
||||||
|
Убедиться, что доступны и отображаются:
|
||||||
|
|
||||||
|
* Executive Dashboard;
|
||||||
|
* Workforce KPI;
|
||||||
|
* Explainable KPI block;
|
||||||
|
* Risk Narrative block;
|
||||||
|
* Recommended Actions block;
|
||||||
|
* Security view;
|
||||||
|
* Forensics view;
|
||||||
|
* reports view.
|
||||||
|
|
||||||
|
Если какой-то блок есть в API, но не виден в UI — зафиксировать как gap.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 5. Markdown Report Audit
|
||||||
|
|
||||||
|
Проверить, что markdown reports содержат:
|
||||||
|
|
||||||
|
* Workforce KPI;
|
||||||
|
* Explainable KPI;
|
||||||
|
* Risk Narrative;
|
||||||
|
* Recommended Actions;
|
||||||
|
* limitations;
|
||||||
|
* no false DLP/SIEM/EDR claims.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 6. Rust Agent Baseline Audit
|
||||||
|
|
||||||
|
Проверить новый crate:
|
||||||
|
|
||||||
|
```text
|
||||||
|
adk-rust/crates/awatch-agent/
|
||||||
|
```
|
||||||
|
|
||||||
|
Проверить наличие:
|
||||||
|
|
||||||
|
* config loader;
|
||||||
|
* telemetry envelope;
|
||||||
|
* heartbeat;
|
||||||
|
* local spool;
|
||||||
|
* retry/dead-letter;
|
||||||
|
* /healthz;
|
||||||
|
* /metrics;
|
||||||
|
* structured JSON logging;
|
||||||
|
* tests/smoke.
|
||||||
|
|
||||||
|
Проверить, что он не делает:
|
||||||
|
|
||||||
|
* keylogger;
|
||||||
|
* screenshot capture;
|
||||||
|
* clipboard capture;
|
||||||
|
* packet interception;
|
||||||
|
* kernel driver;
|
||||||
|
* EDR;
|
||||||
|
* DLP;
|
||||||
|
* ML/LLM.
|
||||||
|
|
||||||
|
Также проверить статус legacy/current runtime:
|
||||||
|
|
||||||
|
```text
|
||||||
|
awatch-agent-rs
|
||||||
|
```
|
||||||
|
|
||||||
|
Убедиться, что документация честно различает:
|
||||||
|
|
||||||
|
* current runtime;
|
||||||
|
* new baseline core.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 7. Optional Integrations Audit
|
||||||
|
|
||||||
|
Проверить документы и README.
|
||||||
|
|
||||||
|
Убедиться, что pfSense описан только как:
|
||||||
|
|
||||||
|
```text
|
||||||
|
optional addon / contract_only / optional integration
|
||||||
|
```
|
||||||
|
|
||||||
|
Не как обязательная часть ядра.
|
||||||
|
|
||||||
|
Проверить также 1C, AD/LDAP, SIEM/syslog, external storage — только как optional/future/where configured.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 8. Demo Pack Audit
|
||||||
|
|
||||||
|
Проверить:
|
||||||
|
|
||||||
|
```text
|
||||||
|
docs/demo/
|
||||||
|
docs/screenshots/
|
||||||
|
```
|
||||||
|
|
||||||
|
Проверить:
|
||||||
|
|
||||||
|
* все demo docs существуют;
|
||||||
|
* screenshots существуют;
|
||||||
|
* screenshots не заглушки;
|
||||||
|
* links валидны;
|
||||||
|
* нет реальных IP/ФИО/логинов/данных заказчика;
|
||||||
|
* используются только demo/test/example данные.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 9. Registry Readiness Audit
|
||||||
|
|
||||||
|
Проверить:
|
||||||
|
|
||||||
|
```text
|
||||||
|
docs/REGISTRY_*.md
|
||||||
|
```
|
||||||
|
|
||||||
|
Проверить:
|
||||||
|
|
||||||
|
* core/optional/not claimed разделены корректно;
|
||||||
|
* нет юридических гарантий;
|
||||||
|
* нет заявления "готово к реестру" без оговорок;
|
||||||
|
* есть список remaining gaps;
|
||||||
|
* есть честное описание open-source dependencies/SBOM.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
### 10. Enterprise Deployment Audit
|
||||||
|
|
||||||
|
Проверить:
|
||||||
|
|
||||||
|
* deployment guide;
|
||||||
|
* topologies;
|
||||||
|
* sizing;
|
||||||
|
* backup/recovery;
|
||||||
|
* operations runbook;
|
||||||
|
* security hardening;
|
||||||
|
* acceptance checklist.
|
||||||
|
|
||||||
|
Убедиться, что sizing не содержит неподтвержденных маркетинговых обещаний.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Что создать
|
||||||
|
|
||||||
|
Создать итоговый отчет:
|
||||||
|
|
||||||
|
```text
|
||||||
|
docs/ROADMAP_CONFORMANCE_AUDIT_RU.md
|
||||||
|
```
|
||||||
|
|
||||||
|
Структура отчета:
|
||||||
|
|
||||||
|
```text
|
||||||
|
# Roadmap Conformance Audit
|
||||||
|
|
||||||
|
## Executive Summary
|
||||||
|
|
||||||
|
## Overall Status
|
||||||
|
|
||||||
|
## Confirmed Implemented Items
|
||||||
|
|
||||||
|
## Partially Implemented Items
|
||||||
|
|
||||||
|
## Documentation-Only Items
|
||||||
|
|
||||||
|
## Gaps
|
||||||
|
|
||||||
|
## False Claims Found
|
||||||
|
|
||||||
|
## API Verification
|
||||||
|
|
||||||
|
## Portal Verification
|
||||||
|
|
||||||
|
## Agent Verification
|
||||||
|
|
||||||
|
## Demo Pack Verification
|
||||||
|
|
||||||
|
## Registry Readiness Verification
|
||||||
|
|
||||||
|
## Deployment Readiness Verification
|
||||||
|
|
||||||
|
## Recommended Fixes
|
||||||
|
|
||||||
|
## Next Roadmap Corrections
|
||||||
|
```
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Допустимые изменения
|
||||||
|
|
||||||
|
Разрешено:
|
||||||
|
|
||||||
|
* исправлять документацию;
|
||||||
|
* исправлять markdown links;
|
||||||
|
* уточнять README claims;
|
||||||
|
* добавлять smoke checks;
|
||||||
|
* исправлять мелкие несоответствия, если они очевидны и не меняют архитектуру;
|
||||||
|
* обновлять roadmap status.
|
||||||
|
|
||||||
|
Нежелательно:
|
||||||
|
|
||||||
|
* добавлять новую функциональность;
|
||||||
|
* менять API;
|
||||||
|
* менять UI;
|
||||||
|
* менять agent behavior.
|
||||||
|
|
||||||
|
Если обнаружена серьезная проблема в коде — не исправлять молча, а зафиксировать как gap и предложить отдельную задачу.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Запрещено
|
||||||
|
|
||||||
|
Не делать:
|
||||||
|
|
||||||
|
* новые API;
|
||||||
|
* новые UI-блоки;
|
||||||
|
* новые agent collectors;
|
||||||
|
* ML;
|
||||||
|
* LLM;
|
||||||
|
* DLP claims;
|
||||||
|
* SIEM claims;
|
||||||
|
* EDR claims;
|
||||||
|
* auto-remediation;
|
||||||
|
* обязательный pfSense;
|
||||||
|
* переписывание архитектуры.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Критерии приемки
|
||||||
|
|
||||||
|
Задача выполнена, если:
|
||||||
|
|
||||||
|
* создан `docs/ROADMAP_CONFORMANCE_AUDIT_RU.md`;
|
||||||
|
* проверены roadmap/README/docs/API/portal/reports/agent/demo/registry/deployment;
|
||||||
|
* smoke checks проходят;
|
||||||
|
* ложные claims отсутствуют или исправлены;
|
||||||
|
* найденные gaps зафиксированы;
|
||||||
|
* предложены следующие корректировки roadmap.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## Финальный отчет Codex должен содержать
|
||||||
|
|
||||||
|
1. Краткое резюме аудита.
|
||||||
|
2. Подтвержденные реализованные блоки.
|
||||||
|
3. Частично реализованные блоки.
|
||||||
|
4. Documentation-only блоки.
|
||||||
|
5. Найденные gaps.
|
||||||
|
6. Исправленные claims/links, если были.
|
||||||
|
7. Результаты проверок.
|
||||||
|
8. Рекомендованные следующие задачи.
|
||||||
Reference in New Issue
Block a user