Test Matrix

契约测试

• Control Plane API
  • 资源 CRUD
  • CallableGrant CRUD
  • McpServer / McpServerRevision CRUD
  • revision / release channel / protocol binding CRUD
  • run 命令
  • 错误模型
• Read Plane API
  • 列表、详情、分页、过滤
  • interaction 列表、详情、阻塞过滤
  • run space / session / runtime connection / run link 查询
  • cursor / stream resume
• Runtime Connection
  • attach / heartbeat / recover-connections
  • attach SDK capability negotiation / effective capability set
  • secrets / config / KV
• Runtime SDK
  • core capability contract / negotiation / unsupported errors
  • implementation recommendation: register / use / polyfill precedence / duplicate registration
  • callable.call 到 tool.call 的兼容收敛
• Protocol Profiles
  • A2A discovery / task / stream / resume
  • ACP initialize / session / permission / session list
  • AG-UI capability discovery / event stream / history restore
  • MCP server discovery / hosted session / tool catalog

状态机测试

• run 提交、启动、成功、失败、取消、重试
• run retry 保持同一 resourceRevisionId 与 executionProfileSnapshot.executionClass.runEnv
• run 阻塞 interaction 创建、解决、拒绝、超时和恢复
• Agent -> Tool / Agent / MCP 子 run 创建与 RunLink 关系投影
• run 多 open interaction 与唯一 blocking interaction
• runtime 首次连接、断开、重连、forced reconnect
• RunSpace provision / occupy / reclaim / terminate
• Session 与 RunSpace 绑定、续期、释放与复用
• attempt sdkCapabilitySnapshot 冻结与重连恢复
• projection 追平、lease 丢失、rebuild
• provider prepare / start / release / orphan cleanup
• tracer start / wrap / wrapChild / wrapDetached / manual end / timeout
• trace context 注入日志与父子 span 继承
• W3C trace context inject / extract / withContext
• baggage 传播、过滤和长度治理
• GenAI input / output / tool context 捕获与 read-plane 查询
• gen_ai.client.inference.operation.details 事件导出与去重

端到端测试

• console 发起 run 并消费消息流
• A2A 客户端创建任务、等待 input-required / auth-required、恢复订阅并继续执行
• ACP 客户端发起 session、请求 permission、取消 session、恢复 session list 视图
• AG-UI 前端消费事件流、基于 cursor 恢复、回放历史并处理 interaction
• MCP client 创建托管 MCP session、读取 tool catalog、继续发送 MCP request 并消费结果
• 跨组织 callable grant 生效、撤销、禁用与可见范围校验
• revision / channel 变更后既有 run 不漂移，新 run 解析到新 revision
• runtime 断连恢复后继续输出
• 同一份 core runtime 在 worker / faas / sandbox / wasm 包下注入 polyfill 后运行
• checkpoint save / load
• webhook 至少一次投递与重复抑制
• trace export、trace 查询、span 过滤与运行日志关联
• 远端 trace context 透传到 runtime，并关联 LLM 输入输出详情

实现矩阵

• 平台控制面实现
• 编排器实现
• runtime connection gateway 实现
• projection / read 实现
• TypeScript SDK / runtime
• Python SDK / runtime
• Console typed client
• A2A adapter implementation
• ACP adapter implementation
• AG-UI adapter implementation
• MCP adapter implementation
• Trace ingest / trace query implementation
• OTel-compatible propagator / semconv adapter