评估场景与数据集¶
Status: Current
Last verified: 2026-07-01
Code anchors:tests/scenarios/,tools/collect/collect-*.sh,crates/aios-cli/tests/*_dataset_test.rs
这篇文档回答什么:DiPECS 如何验证功能正确性、资源开销、UX 影响和长期稳定性。
适合谁读:想复现评估结果、理解 CI 阈值,或者新增评估场景的人。
TL;DR¶
DiPECS 的评估分两条线:
- 离线回归:基于 fixture / dataset 的 cargo test,CI 每次运行。
- 端到端场景:在 Android 模拟器或真机上跑 shell 脚本,产出结构化报告。
本地开发优先跑 cargo test --workspace;涉及 Android 采集或 action-loop 时再跑场景脚本。
何时读这篇¶
| 场景 | 看哪一节 |
|---|---|
| 想知道 CI 检查哪些指标 | CI 离线回归 |
| 想跑端到端验证 | 端到端场景脚本 |
| 想生成资源/UX/稳定性数据集 | 评估工具 |
想了解 data/evaluation/ 里的文件 | data/evaluation 产物说明 |
| 要新增一个场景 | 如何新增一个场景 |
两条评估线总览¶
离线回归(CI)
├─ privacy_leak_test
├─ golden hash replay tests
├─ dataset regression tests
└─ cloud LLM mock tests
端到端(模拟器/真机)
├─ emulator-e2e.sh
├─ action-loop-e2e.sh
├─ action-latency-sweep.sh
└─ on-device-dipecsd.sh
CI 离线回归¶
dataset tests¶
| 测试文件 | 验证目标 |
|---|---|
resource_overhead_dataset_test.rs | CPU / PSS 增量 |
ux_metrics_dataset_test.rs | PreWarm 加速 / ReleaseMemory jank 影响 |
stability_dataset_test.rs | 内存泄漏 |
阈值¶
| 维度 | 阈值 | 测试 |
|---|---|---|
| CPU delta | ≤ 8 个百分点 | resource_overhead_fixture_stays_within_budget |
| PSS delta | ≤ 80 MB | resource_overhead_fixture_stays_within_budget |
| PreWarm 加速 | ≥ 20% 或 ≥ 100 ms | ux_metrics_prewarm_shows_no_regression |
| Jank 增加 | ≤ 20 个百分点 | ux_metrics_release_memory_does_not_increase_jank |
| 内存泄漏 | ≤ 50 MB/h RSS | stability_no_memory_leak |
云端决策基准(需 API key)¶
cargo test -p aios-agent --lib cloud_llm::cloud_bench_tests::smoke -- --ignored --nocapture
cargo test -p aios-agent --lib cloud_llm::cloud_bench_tests::latency -- --ignored --nocapture
端到端场景脚本¶
tests/scenarios/:
| 脚本 | 目的 | 何时跑 |
|---|---|---|
emulator-e2e.sh | 模拟器采集链路验证 | 修改 Android 采集或 Rust 脱敏后 |
action-loop-e2e.sh | 真机/模拟器动作回路验证 | 修改 action-loop、HMAC、bridge 后 |
action-latency-sweep.sh | 四种可转发动作延迟扫描 | 验证动作性能 |
on-device-dipecsd.sh | 设备内直接运行 dipecsd | 验证无 adb forward 的闭环 |
公共约定:
pin_serial()自动选择设备或要求ANDROID_SERIAL。- 运行前
pm clear避免旧 trace 污染。 classify_action_state()输出EXECUTED/SCHEDULED/REJECTED/NOT-EXECUTED。redaction_leak_sample()检查敏感 key 是否已被 redact。
评估工具¶
tools/:
| 脚本 | 测量内容 | 输出 |
|---|---|---|
collect-resource-overhead.sh | CPU、RSS、PSS、电池/温度估算、jank | data/evaluation/resource-overhead-emulator-*.json + .md |
collect-ux-metrics.sh | PreWarm 启动加速、ReleaseMemory jank 降低、内存使用 | data/evaluation/ux-metrics-emulator-*.json + .md |
collect-stability.sh | 长时间内存稳定性 | data/evaluation/stability-emulator-*.json |
generate_synthetic_android_trace.py | 确定性脱敏合成 trace | data/traces/android_synthetic_large.redacted.jsonl |
collect-stability.sh 阈值:
{
"thresholds": {
"max_rss_growth_per_hour_mb": 50.0,
"max_pss_growth_per_hour_mb": 20.0,
"max_avg_cpu_pct": 10.0
}
}
data/evaluation 产物说明¶
| 文件 | 内容 |
|---|---|
emulator-e2e-*.md / .ndjson / .audit | 模拟器 E2E replay 结果、audit hash |
action-loop-e2e-*.md | 动作回路结果、状态、forward 次数 |
action-type-coverage-*.md | 四种可转发动作全部执行过的证据 |
on-device-dipecsd-*.md | 设备内 daemon 闭环结果 |
resource-overhead-emulator-*.json / .md | 资源开销数据集 |
ux-metrics-emulator-*.json / .md | UX 数据集 |
stability-emulator-canonical.json | 稳定性回归 canonical 数据集 |
value-metrics-*.md | 综合价值报告 |
cloud-latency-*.json | 云端 LLM 延迟基准 |
cloud-scenarios-*.json | 云端 LLM 场景 smoke 结果 |
如何新增一个场景¶
- 在
tests/scenarios/新增脚本,复用lib/里的pin_serial、classify_action_state等 helper。 - 在
tools/添加数据收集脚本(如果需要新指标)。 - 在
crates/aios-cli/tests/新增 dataset test,把阈值写进代码。 - 把生成的 fixture 放入
data/evaluation/,并在 CI 中引用。 - 更新本文档的表格和 调试指南 的常见故障模式。