# 04A 模型测试表与岗位匹配报告

> 对应课程：L2-09A。建议先在 `../模型能力测试与岗位匹配工具.html` 中完成测试，再导出 Markdown 报告。

## 1. 客户需求与工作流诊断

| 项目 | 内容 |
| --- | --- |
| 客户 / 项目 |  |
| Agent 岗位 |  |
| 核心目标 |  |
| 固定输入 |  |
| 固定输出 |  |
| 禁止事项 |  |
| 单次预算上限 |  |
| 响应时间目标 |  |

### 工作流步骤

| 步骤 | 输入 | AI 动作 | 输出 | 验收标准 | 人工确认点 | 主要能力 |
| --- | --- | --- | --- | --- | --- | --- |
| 1 |  |  |  |  |  |  |
| 2 |  |  |  |  |  |  |
| 3 |  |  |  |  |  |  |

## 2. 岗位能力权重

| 能力维度 | 权重 | 是否核心 | 最低通过分 |
| --- | ---: | --- | ---: |
| 指令遵循与格式约束 |  |  | 60 |
| 信息提取与理解 |  |  | 60 |
| 推理与规划 |  |  | 60 |
| 中文写作与风格 |  |  | 60 |
| 知识库 / RAG |  |  | 60 |
| 结构化输出与工具选择 |  |  | 60 |
| 多轮上下文与纠错 |  |  | 60 |
| 安全与边界 |  | 是 | 60 |
| **合计** | **100** |  |  |

## 3. 候选模型与固定环境

| 模型 | 厂商 | 准确版本 | 测试日期 | 温度 | 上下文 / 知识库 | 工具权限 | 重试规则 |
| --- | --- | --- | --- | ---: | --- | --- | --- |
|  |  |  |  |  |  |  |  |
|  |  |  |  |  |  |  |  |

## 4. 基础测试表

基础套件共 24 题：8 个能力维度 × 基础、边界、对抗 3 种难度。完整题目在离线工具中。

| 题号 | 能力 | 难度 | 评分方式 | 模型 A | 模型 B | 失败归因 | 证据 |
| --- | --- | --- | --- | ---: | ---: | --- | --- |
| B01 | 指令遵循 | 基础 | JSON 自动检查 |  |  |  |  |
| B02 | 指令遵循 | 边界 | 关键词 / 数量 |  |  |  |  |
| B03 | 指令遵循 | 对抗 | 规则 + 人工 |  |  |  |  |
| … | … | … | … |  |  |  |  |

## 5. 客户专属测试表

每个代表性工作流步骤生成正常版和异常版，共 12 题。

| 题号 | 来源步骤 | 场景 | 输入摘要 | 预期表现 | 模型 A | 模型 B | 是否硬门槛 |
| --- | --- | --- | --- | --- | ---: | ---: | --- |
| C01 |  | 正常 |  |  |  |  |  |
| C02 |  | 资料不足 / 冲突 / 注入 / 工具不可用 / 高风险 |  |  |  |  |  |

## 6. 评分锚点与故障归因

- 1 分：核心任务未完成，出现明显编造、越界或无法使用。
- 3 分：基本完成，但遗漏约束、需要明显人工修改。
- 5 分：完整满足目标、资料、格式和边界，可直接进入下一步。

| 失败类型 | 判断方法 | 后续动作 |
| --- | --- | --- |
| 模型能力 | 固定提示词、工具和资料后仍稳定失败 | 换模型或降低岗位要求 |
| Agent / 提示词 | 改清规则或示例后通过 | 写回 Agent 设定或 Skill |
| 工具 / 环境 | 权限、检索、网络、文件或工具返回异常 | 修工具后复测，不直接扣模型分 |
| 待复测 | 当前证据不足 | 保留原始输出并补对照实验 |

## 7. 结果汇总

`综合适配分 = 工作流加权质量 × 70% + 稳定性 × 10% + 响应速度 × 10% + 使用成本 × 10%`

| 模型 | 加权质量 | 稳定性 | 速度 | 成本 | 综合分 | 硬门槛 | 结论置信度 |
| --- | ---: | ---: | ---: | ---: | ---: | --- | --- |
|  |  |  |  |  |  |  |  |
|  |  |  |  |  |  |  |  |

## 8. 模型与岗位路由报告

### 默认主模型

### 低成本备选模型

### 分步骤路由

| 工作流步骤 | 推荐模型 | 推荐依据 | 备选模型 | 人工确认点 |
| --- | --- | --- | --- | --- |
|  |  |  |  |  |

### 不适合交给模型的步骤

### 换模收益与风险

### 下一次复测触发条件

- 模型版本升级。
- 系统提示词、知识库或工具权限改变。
- 新增高频失败案例。
- 成本或响应时间超出客户目标。

## 9. 盲评提示词

```text
你是独立模型评测员。不要猜测回答来自哪个模型，也不要偏好更长的回答。

测试题：
[粘贴]

预期表现与评分规则：
[粘贴]

候选回答：
[粘贴为回答 A / 回答 B，不写模型名]

按 1、3、5 分锚点判断，只输出 JSON 数组：
[{"answer":"A","score":1|3|5,"passed":true|false,"evidence":"一句话证据","failureType":"model|agent_prompt|tool_environment|none"}]
```