测试策略¶
Status: Current Last verified: 2026-07-05 Code anchors:
crates/*/tests/,tests/scenarios/,.github/workflows/test.yml,.github/workflows/bench.yml
这篇文档回答什么:DiPECS 有哪些测试层、每层验证什么、需要什么前置条件。
适合谁读:需要决定跑哪些测试、新增测试或排查 CI 失败的人。
TL;DR¶
测试分四层:
- 单元/集成测试:
cargo test --workspace,无需 Android/API key。 - Dataset 回归测试:基于已提交 fixture 验证资源/UX/稳定性阈值。
- Mock-socket 测试:本地 TCP 模拟 Android bridge。
- 端到端脚本:模拟器/真机场景。
测试层总览¶
| 层 | 命令 | 前置条件 |
|---|---|---|
| 单元 + crate 集成 | cargo test --workspace | Rust toolchain |
| Dataset 回归 | cargo test -p aios-cli --test resource_overhead_dataset_test 等 | fixture JSON |
| Mock-socket | cargo test -p aios-action android_bridge_e2e_test | Rust only |
| Emulator E2E | bash tests/scenarios/emulator-e2e.sh --auto | Android SDK、模拟器 |
| Action-loop E2E | bash tests/scenarios/action-loop-e2e.sh | 真机/模拟器 |
| On-device | bash tests/scenarios/on-device-dipecsd.sh | NDK、root/userdebug 设备 |
关键集成测试¶
| 测试 | 文件 | 验证点 |
|---|---|---|
privacy_leak_test | crates/aios-core/tests/privacy_leak_test.rs | PII 不越过 PrivacyAirGap |
privacy_airgap_property_test | crates/aios-core/tests/privacy_airgap_property_test.rs | 生成式隐私检查 |
replay_golden_hash_test | crates/aios-cli/tests/replay_golden_hash_test.rs | audit_hash 稳定 |
policy_denial_golden_test | crates/aios-core/tests/policy_denial_golden_test.rs | 每个 DenialReason 都被触发 |
android_bridge_e2e_test | crates/aios-action/tests/android_bridge_e2e_test.rs | HMAC、freshness、执行路径 |
android_adapter_test | crates/aios-cli/tests/android_adapter_test.rs | bridge 失败诚实映射 |
action_lifecycle_test | crates/aios-core/tests/action_lifecycle_test.rs | 每个 ActionCoord 一条终态审计 |
Dataset 测试¶
| 测试 | fixture | 阈值 |
|---|---|---|
resource_overhead_dataset_test | data/evaluation/resource-overhead-emulator-*.json | CPU delta ≤ 8 pp,PSS delta ≤ 80 MB |
ux_metrics_dataset_test | data/evaluation/ux-metrics-emulator-*.json | PreWarm 加速 ≥ 20% 或 ≥ 100 ms;jank 增加 ≤ 20 pp |
stability_dataset_test | data/evaluation/stability-emulator-canonical.json | RSS ≤ 50 MB/h,PSS ≤ 20 MB/h,CPU ≤ 10% |
LSApp personalization gate¶
next_app_ablation_test 是完整 LSApp train+eval gate,用于验证个性化模型在真实 LSApp trace 上以严格 pp margin 胜过非个性化/强 baseline。它不属于默认快速本地测试;CI 通过 .github/workflows/bench.yml 的 scheduled run 或 PR 上的 next-app-eval label 执行。
CI canonical command:
./tools/prepare-lsapp.sh
cargo test -j 1 -p aios-cli --release --test next_app_ablation_test \
personalization_contribution_on_lsapp -- --nocapture
前置条件:
third_party/LSAppsubmodule 已 checkout;CI 里由actions/checkout的submodules: true保证。tools/prepare-lsapp.sh已生成data/lsapp/lsapp.tsv。- release 模式必须作为 cargo 参数出现在 test-harness
--之前;next_app_ablation_ci_test会守住这个 workflow contract。
本地调试建议:
- 日常只跑 debug loud-skip 或 workflow contract test:
cargo test -p aios-cli --test next_app_ablation_ci_test --offline。 - 不要在资源紧张的 IDE 会话里直接跑全量 LSApp gate;它会读取完整 3.66M 行 trace 并进行两轮 train/eval,可能造成明显 RAM/swap 压力。
场景脚本¶
| 脚本 | 目的 | 产物 |
|---|---|---|
emulator-e2e.sh | 模拟器采集 + replay | data/evaluation/emulator-e2e-*.md |
action-loop-e2e.sh | host daemon 通过 adb forward 发 action | data/evaluation/action-loop-e2e-*.md |
action-latency-sweep.sh | 四种 action 延迟扫描 | 终端输出 |
on-device-dipecsd.sh | 设备内运行 dipecsd | data/evaluation/on-device-dipecsd-*.md |
需要 API key 的测试¶
云端 LLM 测试默认 #[ignore],需要:
DIPECS_CLOUD_LLM_ENABLED=true \
DIPECS_CLOUD_LLM_PROVIDER=deepseek \
DIPECS_CLOUD_LLM_API_KEY=<key> \
cargo test -p aios-agent --lib cloud_llm::cloud_bench_tests::smoke -- --ignored
新增测试 checklist¶
- 新增
RawEvent:补aios-spec类型 + 脱敏测试 + 聚合测试 - 新增决策规则:补后端测试
- 新增动作:补
PolicyEngine审查 +aios-action执行测试 - action-loop 变更:通过 mock-socket 测试
- 新增评估指标:补 dataset test 和 fixture