STEP 01
先定义岗位,再谈模型
输入客户目标和真实工作步骤。系统会按关键词给出第一版权重,老师或客户仍需人工确认。
工作流步骤
每行一步,建议写成“步骤名|动作|验收标准”。最多取前 6 步生成 12 道客户题。
8 项岗位能力权重
总和必须为 100。安全固定为硬门槛;权重最高的两项也会作为核心能力门槛。
合计 100
候选模型与固定环境
同一轮必须固定提示词、知识库、工具权限、温度和重试规则。
STEP 02
从 69 道内置题中组装测试
选择基础、中文、RAG、研究、代码、长上下文或工具 Agent 题包;保存配置后可在模型升级时复用同一套题。
题包选择
内置 24 道业务基础题 + 30 道原创专项题 + 15 道社区指南方向原创题;客户题另行生成。
监测来源目录
31 个官方基准、独立平台、开源项目与社区方法线索。点击打开原始来源;动态分数仍需按日期重新核验。
客观题由浏览器检查;主观题必须按 1/3/5 分锚点人工评分,或复制盲评提示词给独立裁判模型。
STEP 03
统一环境,逐题录入
关键题可填三次重复得分,例如 5,5,4。速度和成本留空不会算零分,但会降低结论置信度。
STEP 04