跳到主要内容

设置验收标准

验收标准是任务每次运行都要对照的标准。你在任务的「验收」标签页里管理它们，也能在这里看到最近几次运行在每条标准上的表现。

打开「验收」标签页​

打开任务，点击「验收」。也可以在任务列表的对应行点击「验收」，或在「运行历史」里点击「查看验收」。

这个标签页分三部分，顶部有按钮可以直接跳转：「近期表现」「验收标准」「改进建议与版本」。最后一部分请看改进任务。

自动验收​

标签页右上角是「自动验收」开关。开启时，每次运行结束都会按验收标准自动验收。不想自动验收时，可以把它关掉。

近期表现​

「最近运行的验收结果；每条指标只统计当前标准。」

  • 最近几次运行的通过率，例如「33% 通过率 · 最近 3 次运行」，以及通过和未通过的次数。
  • 「每条指标的表现」：当前标准里的每一条，每次运行一个色块，并显示 3/3、1/3 这样的计数，哪条要求总是不达标一眼就能看出来。
  • 类似「2 次运行需要查看」的提示，点击「在运行列表中查看」即可找到这些运行。

中文界面的「验收」标签页：通过率和每条指标的表现

在示例任务 Client website refresh status email 中，四条标准三次都通过（3/3），而「用三个带标签的要点列出进度、待交材料和服务商决定」只通过了一次（1/3），也就是改进之后的第 3 次运行。

验收标准​

「从任务生成指标、添加预设，或复用自定义指标。每个任务最多支持 10 个，系统会自动选择如何验收每一个。」

这一部分显示当前版本（例如「当前为第 1 版验收标准」），以及：

  • 「任务目标」：任务要交付什么，一两句话。
  • 「验收指标」：已添加多少个，上限 10 个（例如「已添加 5/10」）。每个指标显示名称和判定标准、编辑（铅笔）按钮、来源和验收方式的标签（例如「自定义」「AI 判断」）、「必须满足」勾选框和删除按钮。

验收标准：任务目标和五个自定义指标

添加或修改指标​

  • 「根据任务生成」：由 AI 根据任务说明起草指标。
  • 「添加新指标」：填写指标名称和判定标准（什么情况算达标），选择证据类型后添加。证据类型有三种：
    • 输出文本：检查任务实际交付的文字。
    • 工具记录：运行中记录下来的工具调用和结果。
    • Artifact 或外部状态：运行在文字回复之外产出或改变的东西。
  • 「从指标库中选择」：为当前任务打开或关闭指标，然后点击完成。可以搜索，也可以在预设指标、自定义指标和收藏三个分类里浏览。添加进来的是副本，可以单独修改，之后指标库里的改动不会同步过来。
  • 「管理指标库」：打开可复用的指标库。

改动会先进入草稿，保存验收标准后才会生效。

添加指标对话框：指标名称、判定标准和证据类型

指标库里的预设指标包括：

预设指标检查什么
任务完成度（Task completion）交付了用户真正要的结果。
遵循指令（Instruction following）遵守明确的要求和限制。
事实依据（Factual grounding）关键事实有可靠的依据支持。
内容完整（Content completeness）包含要求的部分和必要细节。
相关性（Relevance）紧扣任务和目标读者。
清晰度（Clarity）表达清楚，结构可用。
可执行性（Actionability）给出可用的步骤、前提和交付物。
不确定性处理（Uncertainty handling）区分已核实的事实、假设和缺口。
包含 / 不包含（Contain / Not contain）输出包含或不包含指定内容。
精确匹配（Exact match）最终输出与指定内容完全一致。
正则匹配（Regex match）输出符合指定的正则表达式。
长度范围（Length range）最终输出长度在指定范围内。
调用了工具（Tool called）指定工具至少被调用过一次。
工具调用成功（Tool succeeded）指定工具至少返回过一次成功结果。

后七个是规则指标，保存前可能需要补充细节，比如要查找的内容或要检查的工具。

指标库：预设指标及开关

版本记录​

点击「版本记录」查看验收标准的历史版本。每次保存都会生成一个新版本；恢复旧版本时，它会先载入到草稿，保存后再生成一个新版本，所以历史不会被改写。每份验收报告都写明了它用的是哪个版本的验收标准。

验收标准的版本历史，版本 1 为当前版本

规则检查与 AI 检查​

ConsoleX 会为每个指标决定怎么验收：

  • 规则检查：按固定规则核对，比如上面的规则指标。不调用模型，不额外收费。
  • AI 检查（标为「AI 判断」）：每次运行结束后，评判模型一次检查所有这类指标，费用计入你的额度。

不论哪种方式，依据不够、无法确认的项都会标为待核验，不会算作通过。每次运行都会把验收费用和运行本身的费用分开列出，例如示例中第 3 次运行的「验收：≈ 31.78 点数」。详见查看运行结果与验收报告。

为什么 Tokens、费用和耗时不是指标​

「Tokens、费用、工具次数和耗时始终显示在每次运行报告中，因此不再作为可添加的验收指标。」你可以在每次运行的「运行结果」标签页的「运行统计」里看到它们。

选择检查模型​

AI 检查使用「设置 › 检查模型」里设定的模型：「用于自动检查，并在您手动检查运行时预先选定。使用量将从您的套餐 Credits 中扣除。」「默认检查模型」为「自动」。每份验收报告都会显示它用的模型和推理强度。详见设置概览。

执行过程检查​

指标下方还有一个折叠起来的「执行过程检查」部分，默认未开启。