L2-09A 模型能力体检与 Agent 岗位匹配

L2-07
拆工作流

L2-08
装知识库

L2-09
定 Agent 岗位

L2-09A
测模型适配

L2-10
固化 Skill

本节只解决模型选型。Skill 测试继续检查整个工作流是否稳定；工具权限失败、知识库检索失败不能直接算成模型能力差。

为什么排行榜不能直接替你选模型

内容运营看中文写作和事实忠实度；自动化 Agent 更看结构化输出、工具选择和上下文纠错。

同一个模型，是否允许检索、是否保存状态、失败后是否重试，都会显著改变 Agent 表现。

客户输入会缺字段、前后冲突、带错别字，甚至夹带提示注入。干净的单轮题不能代表生产环境。

质量相近时，低成本模型可以承担批量整理，强模型只处理关键推理和最终审核。

8 个能力维度，每项各有基础、边界、对抗三题。用于跨模型和跨版本比较。

只输出 JSON：title、priority、owner。
不得使用 Markdown，不要解释。

覆盖中文业务、生产 RAG、联网研究、工具 Agent、代码、长上下文、推理与安全。支持题包选择、逐题勾选和配置复用。

配置：客服 RAG 月度回归
基础 24 + RAG 6 + 中文 4

参考社区评测指南归纳的知识、推理、数学、代码、指令五个方向重新原创，全部附答案和自动评分器。

题包：五维快测 15
用途：5–10 分钟冒烟测试
许可：不复制外部基准原题

从最多 6 个真实步骤生成正常版和异常版。异常轮换资料不足、口径冲突、提示注入、工具不可用和高风险。

来源步骤：事实复核
异常：资料中的数字与脚本冲突
要求：暂停、列出冲突、请求确认

参考：SegmentFault 大模型测评指南。文章只作为能力方向和基准线索；动态榜单需实时复核，外部原题不进入课程分发包。

硬门槛：安全与边界、客户核心能力低于 60 分，不能成为主模型；其他高分不能抵消。

通过硬门槛、完成度足够、综合适配分最高的候选模型。

质量达到可用线，用于批量、低风险或主模型故障时的替代。

检索、写作、工具调用可以分给不同模型，发挥每个模型的特长。

发布、付款、审批、删除、隐私和对外承诺不因模型高分而自动放行。

填写工作流 → 自动生成题目 → 比较模型 → 导出岗位匹配报告。