DiPECS Baseline 框架¶
本页索引 DiPECS 全项目的 baseline(对照组)体系,说明每个维度的“对照组是什么、如何运行、如何解读”。
Baseline 是判断一个优化是否有效的前提:没有对照组,任何绝对数字都难以说明价值。
维度总览¶
| 维度 | 已有 Baseline | 关键文件/工具 |
|---|---|---|
| 隐私与治理 | naive cloud prompt vs DiPECS pipeline | crates/aios-agent/tests/baseline_comparison_test.rs |
| 资源开销 | baseline_idle / dipecs_observe_only / dipecs_action_loop | tools/collect/collect-resource-overhead.sh, crates/aios-cli/tests/resource_overhead_dataset_test.rs |
| UX 体验 | no_dipecs_baseline / cold_startup / prewarm_startup | tools/collect/collect-ux-metrics.sh, crates/aios-cli/tests/ux_metrics_dataset_test.rs |
| 稳定性 | 长时间运行内存泄漏基线 | tools/collect/collect-stability.sh, crates/aios-cli/tests/stability_dataset_test.rs |
| 云端决策延迟 | RuleBased/LocalEvaluator vs CloudLLM(DeepSeek) | crates/aios-agent/src/backends/cloud_llm/mod.rs latency/cloud_bench tests |
| 动作执行覆盖 | mock-socket / emulator action-loop | crates/aios-action/tests/android_bridge_e2e_test.rs, tests/scenarios/action-loop-e2e.sh |
| next-app 预测 | 平凡(随机/首个/NoOp) + 统计(全局/条件多数/Markov) + realistic prior(最近通知/通知优先级/最近前台/最近预热) | aios-cli benchmark-next-app, crates/aios-cli/tests/benchmark_next_app_test.rs |
| policy denial 率 | 默认 PolicyEngine vs 策略大门完全敞开 | tests/integration/policy_denial.rs |
| routing strategy | 固定路由 + hardcoded_routing 简单路由 vs DecisionRouter 动态路由;含 cloud-avoidance 率 | tests/integration/routing_strategy.rs |
| noop 覆盖率 | RuleBased/LocalEvaluator vs 总是 NoOp + realistic prior | tests/integration/noop_coverage.rs |
| 窗口大小资源/吞吐 | 1s / 10s / 60s 窗口 replay 性能 | tests/integration/window_size.rs |
| CloudLLM 稳定性 | 确定性 RuleBased/LocalEvaluator 对照组 vs 云端多次调用变化率 | tests/integration/cloud_llm_stability.rs |
| 动作成功率 | 直接转发(前 DiPECS) + 四类动作 mock bridge 成功/失败分布 | tests/integration/action_success_rate.rs |
| HMAC 签名交叉验证 | 标准库 hmac + sha2 独立重算 | tests/integration/signature_cross_verify.rs |
| rationale tags 覆盖率 | RuleBased/LocalEvaluator vs 统计基线 | tests/integration/rationale_coverage.rs |
所有新增 baseline 统一通过根目录 integration test crate 运行:
运行单个 baseline:
cargo test --test integration policy_denial
cargo test --test integration routing_strategy
cargo test --test integration noop_coverage
cargo test --test integration window_size
cargo test --test integration action_success_rate
cargo test --test integration signature_cross_verify
cargo test --test integration rationale_coverage
CloudLLM 稳定性测试默认 #[ignore],需要真实 API key:
DIPECS_CLOUD_LLM_API_KEY=xxx cargo test --test integration cloud_llm_stability -- --ignored --nocapture
1. 隐私与治理¶
对照组:把包含 raw_title/raw_text 的原始通知 JSON 直接发给云端 LLM,让模型决定动作。
实验组:同样的 trace 经过 DiPECS 的 PrivacyAirGap + DecisionRouter + PolicyEngine,看 model input / audit 中是否还有 raw text,以及哪些动作被策略拦截。
运行:
解读:
- naive prompt 中应包含若干 raw notification text(否则对照组无意义)。
- DiPECS pipeline 的 model input / audit 中必须 0 泄漏。
- 同时观察
DeniedByCapability/TargetNotInContext等治理事件。
2. 资源开销¶
对照组:baseline_idle(app force-stop,系统基线)。
实验组:
dipecs_observe_only:仅采集,不动作。dipecs_action_loop:采集 + 持续发送 KeepAlive / ReleaseMemory / PreWarm / Prefetch。
运行:
解读:
- 关注 CPU Δ、PSS Δ、RSS Δ。
- 当前阈值:CPU Δ ≤ 8 pp,PSS Δ ≤ 80 MB。
3. UX 体验¶
对照组:no_dipecs_baseline / cold_startup(无 DiPECS 的冷启动)。
实验组:prewarm_startup(DiPECS 预热后再启动 MainActivity)、post_release_jank(ReleaseMemory 后帧率)。
运行:
解读:
- PreWarm 启动加速 ≥ 20% 或 ≥ 100 ms 视为有效。
- 启动对比至少 cold/prewarm 合计 n≥20,并报告均值 + p95。
- ReleaseMemory 不应使 jank 增加超过 20 个百分点。
4. 稳定性¶
对照组:无(自身前后对比)。通过长时间采样 RSS/PSS/CPU,用线性回归判断增长速率。
运行:
解读:
- RSS 增长 ≤ 50 MB/h,PSS 增长 ≤ 20 MB/h,平均 CPU ≤ 10%。
5. 云端决策延迟¶
对照组:本地 RuleBasedBackend / LocalEvaluatorBackend(亚毫秒级)。
实验组:CloudLlmBackend 调用真实 DeepSeek API。
运行:
source .env
cargo test -p aios-agent --lib cloud_llm::cloud_bench_tests::latency -- --ignored --nocapture
解读:
- 本地后端 p50 < 0.1 ms,云端 p50 约 6–11 s。
- 支撑“本地优先、云端仅兜复杂语义”的路由策略。
6. 动作执行覆盖¶
对照组:mock-socket 本地接住 bridge payload,验证签名、HMAC、action_type JSON 值与 Debug 值一致。
实验组:emulator / 真机上完整动作回路(daemon → signed payload → Android app → handler → audit)。
运行:
解读:
- mock 测试保证 Rust 侧转发逻辑正确。
- 真机/模拟器测试验证四类可转发动作(KeepAlive/ReleaseMemory/PreWarmProcess/PrefetchFile)确实 EXECUTED。
7. next-app 预测¶
对照组:
平凡对照组(trivial control)——不利用真实上下文信号,仅用于下界参考:
random_candidate:从可观测候选中随机选一个。first_candidate:取候选列表第一个。always_noop:总是不预测,对应 100% NoOp 率。
统计对照组(statistical prior)——在训练 split 上拟合频率:
global_majority:总是预测训练集里最常出现的下一应用。per_current_app_majority:按当前应用,预测历史上最常接在它后面的应用。markov:按P(next_app | current_app)排序候选。
realistic prior(前 DiPECS 的启发式对照组)——模拟真机 launcher / 系统在没有 DiPECS 时可用的常见启发式,只读取窗口内可观测信号,确定性、无 RNG:
recent_notification:最近一条通知的来源应用。对应“最近通知的应用很可能被打开”。notification_priority:按通知优先级打分(is_ongoing / FileMention / ImageMention / LinkAttachment / UserMentioned / CalendarInvitation / alarm·call·event 类别 / 最近时间戳), 取分最高候选。对应 launcher 的通知重要度排序。last_foreground:最近一次非当前应用的前台切换目标。对应“切回上一个应用”。last_app_prewarm:最近被切换到(可视为被预热)的应用;因合成 trace 无显式预热历史, 暂用最近前台切换目标作代理,实现与last_foreground一致但语义命名不同。
之所以引入 realistic prior,是因为只跟
always_noop/random_candidate比不能证明 DiPECS 的价值:如果前人的简单启发式已经 cover 了大多数场景,那 DiPECS 就没有意义。 只有跟真实启发式对比、并保持可解释性/隐私/治理优势,价值才成立。
实验组:RuleBasedBackend、LocalEvaluatorBackend。
运行:
cargo run --bin aios-cli -- benchmark-next-app \
--input data/traces/scenarios/morning-routine.jsonl \
--input data/traces/scenarios/multi-app-switching.jsonl \
--input data/traces/scenarios/rich-workflow.jsonl \
--labels data/traces/synthetic-next-app-v1.labels.jsonl \
--output data/evaluation/synthetic-next-app-v1.report.json \
--train-split 0.7 \
--window-secs 10
解读:
- 只在
eligible样本上评估(即真实下一应用已在当前上下文中可观测)。 - 统计基线只在训练 split 上拟合,测试 split 上评估。
- 当前合成数据上的 aggregate Top-1 / 覆盖率 / NoOp / rationale(见
data/evaluation/synthetic-next-app-v1.report.json): rule_based:Top-1 61.8%、覆盖 61.8%、NoOp 16.4%、rationale 100%。local_evaluator:Top-1 49.1%、覆盖 56.4%、NoOp 36.4%、rationale 100%。- realistic prior:
recent_notification65.5% /notification_priority61.8% /last_foreground·last_app_prewarm23.6%。 - 统计 prior:
markov·per_current_app_majority83.6%、global_majority85.5%。 - 注意:合成数据候选集很小(1–2 个),使
random_candidateTop-1 高达 83.6%——这正是 不能用它作主对照组的原因。realistic prior 中recent_notification已略高于rule_based, 说明在合成数据上单纯的 Top-1 并不能体现 DiPECS 价值;DiPECS 的真正优势在于 100% rationale 覆盖、隐私气隙与治理拦截(见 §1、§8、§15),而非纯预测准确率。 - 报告 schema 为
dipecs.next_app_benchmark.v2;若消费端校验 schema version,需同步升级。 报告由代码生成evaluation_source、action_value_source和benefit_claim_policy: 当前值表示合成 trace 的 prediction-only 回归,不导入真实 action-value 测量,也不输出net_benefit_ms。因此它只能用于快速回归预测到动作候选的映射,不能用于系统收益主张。
8. policy denial 率¶
对照组:策略大门完全敞开(PolicyConfig { max_auto_risk: High, ..Default }),模拟无 PolicyEngine 拦截时,同一条 High risk / 未知 target 动作会到达执行器并成功执行。
实验组:生产默认 PolicyEngine + CapabilityLevel::for_route(CloudLlm / LocalEvaluator),High risk / 未知 target 的动作被拒绝。
运行:
解读:
- 默认策略下,CloudLLM 与 LocalEvaluator 能力档位的
max_risk均低于High,越权动作 100% 被拦截。 - 策略大门敞开时,同一条动作 100% 到达执行器。
- 证明
PolicyEngine是防止后端越权动作的最后一道防线。
9. routing strategy¶
对照组:
- 固定
RuleBasedBackend/LocalEvaluatorBackend单独评估。 hardcoded_routing:模拟前人系统的简单静态路由(privacy_score > 3 => RuleBased,否则 LocalEvaluator,无熔断、无按复杂度上云)。其compute_privacy_score与生产DecisionRouter逐行一致(生产函数 crate-private,故在测试内忠实复刻)。
实验组:生产默认 DecisionRouter 根据隐私分和语义复杂度动态选择后端。
运行:
解读:
- 高隐私分 trace(如 500 次 AppTransition)回退到
RuleBased,与固定 RuleBased 等价。 - 低隐私分但富语义信号(FileMention / ImageMention / LinkAttachment)升级到
LocalEvaluator,优于固定 RuleBased。 - 证明动态路由不劣于任何固定路由,也不劣于
hardcoded_routing简单路由。 - 为防止复刻的
compute_privacy_score与生产悄悄偏离,测试解析生产路由发出的routing:privacy_sensitive(score=N)rationale tag,断言解析出的分值与复刻实现相等。 - cloud-avoidance 率(性能价值链接):把三条 scenario trace 按真实窗口切分(
build_windows复刻 daemon 的窗口关闭逻辑),逐窗口过DecisionRouter::default(),统计路由到本地 (RuleBased / LocalEvaluator)而非 CloudLlm / FallbackNoOp 的比例,断言 ≥ 80%。 由于云端 p50 约 6–11 s、本地亚毫秒,避免上云是主要的用户可见延迟收益。 诚实说明:未配置云端 key 时cloud_route_or_fallback永不返回 CloudLlm、熔断也不触发, 该比例结构上恒为 100%,≥ 80%只有在配置云端 key 后才可能被证伪;此测试当前价值在于 验证默认路由在真实逐窗口分布下始终留在本地,并锻炼build_windows。
10. noop 覆盖率¶
对照组:
always_noop(100% NoOp、0% 预测覆盖)——trivial 下界。- 高覆盖统计 prior(
markov/per_current_app_majority,覆盖率 100%)——覆盖率上界参照。
实验组:RuleBasedBackend、LocalEvaluatorBackend。
运行:
解读:
RuleBased与LocalEvaluator的 NoOp 率必须显著低于 100%,且预测覆盖率明显高于 0%。- 当前阈值(按 synthetic-next-app-v1 实测校准):
- aggregate:
rule_basedNoOp ≤ 25%、覆盖率 ≥ 55%;local_evaluatorNoOp ≤ 45%、覆盖率 ≥ 50%。 - per scenario:
rule_basedNoOp ≤ 35%、覆盖率 ≥ 50%;local_evaluatorNoOp ≤ 55%、覆盖率 ≥ 35%。 - realistic prior 对比:
markov/per_current_app_majority覆盖率为 100%,DiPECS 覆盖率不得低于其 45pp 以上;DiPECS NoOp 率必须 < 50%,远离 trivialalways_noop。 - 若真实后端接近
always_noop,说明其未产生有效动作建议。
11. 窗口大小资源/吞吐¶
对照组:1s 窗口(窗口管理开销最大)。
实验组:10s / 60s 窗口。
运行:
解读:
- 更大窗口的吞吐(events/ms)不应灾难性下降(10s ≥ 1s 的 85%,60s ≥ 1s 的 65%)。
- 更大窗口的峰值 RSS 与 CPU 时间不应超过 1s 窗口的 1.5 倍。
- 本机实测值(debug 模式):1s 约 9.8–11.7 ev/ms、peak RSS ≈ 14.4 MiB、cpu_total ≈ 120–240 ms;10s 与 60s 均满足上述收紧后的阈值,无需进一步校准。
- 帮助权衡实时性(小窗口)与批处理效率(大窗口)。
12. CloudLLM 稳定性¶
对照组:确定性本地后端 RuleBasedBackend / LocalEvaluatorBackend。同一 ModelInput 调用 10 次,intent 集合变化率与 JSON 失败率均应为 0%(这是"完美稳定"的参照下界)。
实验组:CloudLlmBackend 对同一输入重复调用 N 次(默认 10,可通过 CLOUD_BENCH_ROUNDS 覆盖)。
运行:
# 确定性对照组(无需 key,默认运行)
cargo test --test integration cloud_llm_stability rule_based_and_local_evaluator_are_perfectly_stable
# 云端实验组(需真实 key,默认 #[ignore])
DIPECS_CLOUD_LLM_API_KEY=xxx cargo test --test integration cloud_llm_stability -- --ignored --nocapture
解读:
- 确定性对照组断言:两个本地后端 10 次调用 intent 变化率 == 0%、JSON 失败率 == 0%。
- 云端实验组:统计成功返回
IntentBatch的次数、JSON 解析失败次数、相邻调用间 intent 集合变化率; 断言 JSON 失败率 ≤ 10%,且成功次数 > 1 时 intent 变化率 > 0(体现云端非确定性)。 - 用确定性本地后端替代"控制组=单次调用"的平凡基线,量化云端输出方差, 支撑"云端仅作兜底、本地优先"的决策。
13. 动作成功率¶
对照组:
- 直接转发(前 DiPECS):
direct_forward_without_policy_or_signature_succeeds模拟"没有 DiPECS 治理时直接把动作转发给设备也能成功"。因AuthorizedAction::seal是pub(crate)(仅ActionLifecycle在PolicyEngine通过后可构造),无法从外部伪造, 故走一条最小放行的 lifecycle(宽松 capability = 不被策略否决;mock bridge 不校验 HMAC = 无签名校验),语义上等价"前 DiPECS 的直接转发"。 - mock bridge 本地接住 payload,模拟设备返回
ok/rejected。
实验组:ActionLifecycle + AndroidBridgeAdapter 驱动四类动作,观察 terminal state。
运行:
解读:
- 直接转发对照组:四类可转发动作在无策略/无签名下都应
Succeeded——证明 DiPECS 治理 对允许的动作不损失成功率,只是额外加了策略与签名两道门。 - PreWarmProcess、KeepAlive、ReleaseMemory、PrefetchFile(url:) 在设备
ok时都应Succeeded。 - 同一批动作在设备
rejected时都应Failed。 - NoOp 与 PrefetchFile(pkg:) 走本地 stub,不经过 bridge 也
Succeeded。 - 给出 per-action-type 的 forwarded / local-stub / rejected 分布。
14. HMAC 签名交叉验证¶
对照组:无(自洽验证)。
实验组:用独立的标准库 hmac + sha2 重新计算 AuthorizedAction payload 的 HMAC signature,与生产代码生成的 signature 比较。
运行:
解读:
- 生产签名实现与标准库实现必须逐字节一致。
- 验证 token 敏感(换 token 则 signature 变)、长度前缀防止拼接歧义。
15. rationale tags 覆盖率¶
对照组:统计基线(random / first / global_majority / per_current_app_majority / markov / always_noop)不产出 DiPECS intents,rationale 覆盖率应为 0.0%。
实验组:RuleBasedBackend、LocalEvaluatorBackend。
运行:
解读:
- DiPECS 后端产出的 intent 中,至少有一个 intent 带有非空
rationale_tags的窗口比例:aggregate ≥ 95%,per scenario ≥ 90%。 - 统计基线的 rationale 覆盖率必须为 0.0%。
- 保证可解释性标签是 DiPECS 后端的固有属性,而非 benchmark artifact。