- 零第三方依赖,Node >=20 原生 ESM - 团队式编排引擎:拆解/路由/执行/审查/合并全真实 LLM - 阶段心跳、单一权威清单守卫、all-keys-failed 如实上报 - H4 会话视图/amend/watchdog 有界重试/产物区 artifacts.json - H5 零依赖三栏控制台
4.2 KiB
4.2 KiB
P1 平台化 — Rubrics 描述(新任务「调度网关 P1 平台化」)
供方舟众测「创建任务」表单的 Rubrics 字段使用;结构与上一任务 9421 一致,维度针对 P1 平台化调整。
评估维度与判定标准
1. 功能完整性(权重 30%)
优秀:
- 任务 L/M/N/O/P/Q(6 项)全部实现并接入真实任务/查询/调度/API 路径
- 项目边界真实生效:跨项目创建/查询/产物访问被拒绝或隔离,默认项目兼容旧数据
- 节点 token 完整生命周期(创建/禁用/轮换/过期)可用,默认 token 在生产/安全模式被拒绝,越权敏感操作返回 403
- 任务 schema 校验与内置模板可真实创建任务;策略字段(allowNodes/maxAttempts/maxCost/requiresApproval)熔断生效
- 节点 drain 不再派发新任务、标签/亲和性影响调度;executor adapter 生命周期(start/cancel/timeout/log/artifact/exitReason)可用
- /api/v1 路由族可用且旧接口在兼容期内仍工作;/metrics、/healthz、/readyz 可用且脱敏
- 结构化日志字段齐全(timestamp/requestId/runId/taskId/nodeId/stage)
合格:
- 核心任务(L/M/N/P)完成,其余部分完成
- 主要功能验收通过,少量边缘场景未覆盖
- 代码可运行,P0+P1 测试大部分通过
不合格:
- 关键任务(项目边界/凭据权限/模板策略)未实现或形同虚设(装饰性字段)
- 功能验收超过 3 项不通过
- 越权/跨项目/默认 token 等安全路径可被绕过
2. 代码质量(权重 20%)
优秀:
- 分层清晰(domain/application/adapters/platform),新模块职责单一、命名清晰、注释充分
- 错误处理完善不吞异常,使用稳定错误码与统一错误信封
- 与现有代码风格一致(ESM、零依赖),无死代码、重复代码或过度工程
- Repository/Service 继续遵循 P0 已建立的抽象,不倒退为直写 Map
合格:
- 模块结构基本合理,少量设计瑕疵;错误处理覆盖主要路径
不合格:
- 模块结构混乱;大量复制粘贴或死代码;异常被静默吞掉或引入第三方运行时依赖
3. 测试覆盖(权重 20%)
优秀:
- 每个新增任务(L/M/N/O/P/Q)都有对应测试
- 覆盖正常路径/边界条件/错误场景;并发与竞态场景有专门测试(跨项目并发、token 轮换竞态、drain 与在途任务)
- 覆盖安全路径:越权 403、跨项目读取拒绝、默认 token 拒绝、伪造/过期凭据拒绝、密钥脱敏
- P0 全部测试保持通过(npm test / test:conversation / e2e-team / recovery-demo / stress)
合格:
- 主要功能有测试;现有测试基本通过;边界场景覆盖不完整但有计划
不合格:
- 没有新增测试;现有测试被破坏;通过放宽断言/删除测试制造全绿
4. 兼容性(权重 15%)
优秀:
- 现有 API 语义不变;旧 /api/tasks 等接口在兼容期内仍工作,新增 /api/v1 不带破坏
- 现有面板、插件、看板桥、团队编排未被破坏;P0 持久化/WAL/事件行为保持兼容
- 默认项目(default)可透明读取旧数据,无需迁移即可运行
合格:
- 基本兼容,少量非破坏性变化;现有测试大部分通过
不合格:
- 破坏现有 API 语义;旧接口大面积失效;面板/插件/团队编排被破坏
5. 安全性(权重 15%)
优秀:
- 错误、审计、状态、导出、日志中均无 key/token/password/secret 明文
- 默认 token 检测与拒绝到位;节点 token 可禁用/轮换/过期
- 越权(管理节点/敏感证据)、跨项目访问、伪造/过期凭据、越权 settle 均有拒绝结果
- 不引入新的 shell 拼接、动态代码执行或不受限文件路径;策略引擎不绕过安全基线
合格:
- 主要安全检查到位;密钥脱敏基本覆盖;个别场景未覆盖但有计划
不合格:
- 密钥泄漏到日志/审计/导出;默认 token 在生产模式不拒绝;敏感操作无权限校验
综合判定
- 优秀:5 个维度均为优秀或合格,且至少 3 个为优秀
- 合格:5 个维度均为合格及以上,且不超过 2 个为不合格
- 不合格:任意 2 个及以上维度为不合格