22 道评估、测试与优化练习题及答案

1. 1. 某团队即将着手改进一个基于 Claude 的理赔摘要功能。他们手上有一堆用户投诉，却没有评测集，负责人提议先调提示词，等提示词稳定后再建评测。选择 1 项：对这一顺序最有力的反对理由是什么？

   • A.没有在模型提供方注册评测框架，提示词改动根本无法上线，因此评测是硬性前置条件。
   • B.没有摆上台面的模型档位决策，评测集就没有用处，因此它应排在提示词工作之后。
   • C.没有定稿的提示词，模型就无从生成评测数据集，所以顺序上必须先把提示词定下来。
   • D.没有固定的评测集，每次提示词改动都只能靠临时例子判断，真实提升与噪声或新回归无法区分。✓ 答案

   评测集是度量工具，事后再建的评测集会被已经做过的改动所塑形。在优化开始之前建立一份固定且带版本的评测集，才能让每一个候选改动都在同一批任务上打分，提升与回归因此可见而不是靠猜。平台并不要求注册评测框架，评测任务也来自真实流量而非提示词。

   编号 QB-RS474S依据： Anthropic, "Create strong empirical evaluations" (platform.claude.com/docs/en/test-and-evaluate/develop-tests); CCAR-P Domain 4 (Evaluation, Testing & Optimization)报告此题的问题

2. 2. 某客服分派助手在演示中表现良好，但在真实工单上频繁分派错误。团队正在组建第一份约 30 条任务的评测集。选择 1 项：哪种构成最能代表生产环境？

   • A.由团队自行撰写的规范工单，每条都带明确标签，脏输入不会拉低整体得分。
   • B.取自真实工单，并向已经发生过误分派的类别与边缘情形倾斜，同时包含正例与负例。✓ 答案
   • C.由 Claude 依据分派策略生成的合成工单，覆盖全部已记录类别，且能低成本重新生成。
   • D.只取工单量最大那个类别的工单，因为修好主干路径对总体准确率的拉动最明显。

   有代表性的评测集取自真实流量，并刻意加大对困难案例与已观察到的失败模式的采样，因为改动正是为了修复这些；正负例平衡才能让分数如实反映表现。规范化、单一类别或纯合成的集合，衡量的是系统在生产中根本遇不到的分布。

   编号 QB-8AXZGR依据： Anthropic Engineering, "Demystifying evals for AI agents" (20-50 tasks mined from real failures); CCAR-P Domain 4报告此题的问题

3. 3. 某发票抽取流水线为每份文档返回包含供应商、日期与总额的 JSON 对象。团队需要每晚给 400 条评测任务打分。选择 1 项：哪种评分方式适合这项任务？

   • A.计算模型输出与参考记录的余弦相似度并设阈值，接近一致的通过，差异较大的判为失败。
   • B.用代码解析 JSON，把每个字段与标注值比对，并对日期与金额格式做归一化处理。✓ 答案
   • C.用 LLM 评审对每次抽取按 1-5 分打总体质量分，因为评审能容忍字符串精确匹配会误判的格式差异。
   • D.每晚人工复核 20 条样本并作为主要评分依据，因为抽取错误会带来实际的财务后果。

   当正确答案可核验时——某个字段要么与标注值一致，要么不一致——确定性评分器最快、最可复现也最省钱，而归一化正好吸收了朴素字符串比较会误判的合法格式差异。评审与相似度打分会在本不需要的地方引入不确定性，人工复核也无法覆盖每晚 400 条任务。

   编号 QB-QSRUWQ依据： Anthropic, "Create strong empirical evaluations" — code-based grading preferred where outputs are exactly checkable; CCAR-P Domain 4报告此题的问题

4. 4. 某团队从对原文的忠实度、语气与完整度三个维度评估一个法律起草助手。他们的评审提示词让单次模型调用把三者一起权衡并给出一个 1-5 分。质量讨论因此屡屡陷入僵局。选择 1 项：应当如何调整？

   • A.每个维度各用一个评审、各自一套评分标准、各自一次调用，忠实度、语气与完整度分别出分。✓ 答案
   • B.保留单一综合评审但把量表扩展到 1-10 分，让它有足够刻度表达三个维度之间的取舍与权衡。
   • C.保留单一综合调用，并补充 1 分、3 分、5 分的少样本示例，让评审的总体尺度更稳定。
   • D.改用生成模型自身在更高推理强度下评分，因为作者最清楚自己在哪个维度做了妥协。

   综合评审会把各维度悄悄平均掉，忠实度下降可能被良好的语气掩盖，得出的分数无法指导行动。每个维度一套评分标准、一次独立调用，才能得到彼此分离、可诊断的信号；加大刻度或补少样本锚点都改不了平均化本身，而让生成方给自己打分则丢掉了评分所依赖的独立性。

   编号 QB-7AKPBQ依据： Anthropic, "Create strong empirical evaluations" — LLM-based grading guidance (one rubric per dimension); CCAR-P Domain 4报告此题的问题

5. 5. 某 LLM 评审负责判定检索回答是否有据可依。即便输出没有变化，它的评分仍逐周漂移，评审人员也无法复现结果。选择 1 项：哪种评审设计最能提升可信度？

   • A.每次运行都依据最新评分标准重新生成评分提示词，让评审始终反映团队当下对"有据可依"的定义。
   • B.评审沿用与生成方相同的模型和提示词，使其与被评答案共享同一套任务理解，从而减少分歧。
   • C.固定版本的评分提示词，先输出简短推理再给受限判定，保留"无法判断"选项，并定期人工抽检评审。✓ 答案
   • D.提高评审的采样温度，让判定去探索不同解读，最终在聚合分数上互相抵消得到更公允的结果。

   可复现性来自把评分器钉死：带版本的提示词、先推理后丢弃、受限的输出格式，以及给出"无法判断"的出口而不是强迫猜测，再定期用人类专家抽检评分器本身。每次重新生成提示词和提高温度，恰恰增加了被抱怨的那种方差；而与生成方同模型同提示词的评审会继承它的盲点。

   编号 QB-PSDHRP依据： Anthropic, "Create strong empirical evaluations" — LLM grader design (rubric, forced reasoning, constrained output, escape hatch); CCAR-P Domain 4报告此题的问题

6. 6. 某团队每周可获得两位资深临床医师共四小时的时间，同时每晚要评测 500 条临床摘要任务。选择 1 项：这部分专家时间应如何使用？

   • A.把最高风险类别的每条任务都由专家评分并作为生产分数，其余低风险任务交给自动评分器。
   • B.把时间用于每周补写新的评测任务而非打分，因为专家出题提升覆盖率比专家打分更快。
   • C.对分层抽样结果打分，并与自动评分器比对，凡出现分歧就据此修订评分标准。✓ 答案
   • D.只复核自动评分器判为通过的 40 条任务，在对外汇报前确认套件的总体通过率。

   人类专家是黄金标准，但无法承担每晚 500 条任务，因此其最高杠杆的用法是校准自动评分器——一经校准，评分器就能以已知的误差率承接全部工作量。只抽查通过项或只覆盖单一类别，恰恰在最关键的那些案例上没有量出评分器与专家的分歧。

   编号 QB-6A8C6P依据： Anthropic, "Create strong empirical evaluations" — human grading as calibration for automated graders; CCAR-P Domain 4报告此题的问题

7. 7. 在试点开始前，产品负责人把某基于 Claude 的会话分流功能的成功标准写成"助手至少 90% 的时候回答正确"。选择 1 项：这条标准的主要缺陷是什么？

   • A.它在评测集尚未建立时就承诺了准确率数字，而成功标准只能在测出基线之后才写得出来。
   • B.它是单维度的：只锁定准确率，延迟、单次成本与安全表现都不受约束，也就无人跟踪。✓ 答案
   • C.它给的是百分比而不是绝对数量，因此要等试点总流量确定后才能核验这条标准。
   • D.它把门槛定得太低：十次错一次的分流功能撑不住真实生产环境的支持话务量。

   好的成功标准是具体、可度量且多维度的——准确率目标要与延迟分位、单次交互成本上限以及安全下限并列写出。单一的准确率数字，完全可能由一个太慢、太贵或不安全的系统满足，因此它本身不足以作为上线闸门。

   编号 QB-NS27KN依据： Anthropic, "Define your success criteria" (platform.claude.com/docs/en/test-and-evaluate/define-success); CCAR-P Domain 4报告此题的问题

8. 8. 某智能体负责预订内部会议室。评测只有在智能体按 search_rooms、check_conflicts、create_booking 这一顺序调用时才判为通过，那些以其他路径正确订到房间的试验却被判失败。选择 1 项：应如何修正？

   • A.改为校验最终状态——事后实际存在的预订及其属性——而不是达成它的调用顺序。✓ 答案
   • B.把代码评分器换成读取会话记录的 LLM 评审，由它判断智能体所选轨迹是否合理。
   • C.把可接受的调用顺序放宽为白名单，收录评审认可的三四种合法达成预订的路径。
   • D.保留顺序校验，并在系统提示词中固定调用次序，让智能体行为与评分器的既有预期保持一致。

   僵硬的路径校验会惩罚同样有效的替代做法，把评测变成对"是否服从"而非"是否有能力"的度量。校验最终状态——订到正确的房间、没有重复占用、与会人正确——既保持确定性，又允许任何正确路径；而在提示词里固定次序，是靠约束智能体来抬分，而不是把度量做得更好。

   编号 QB-5AVZYM依据： Anthropic Engineering, "Demystifying evals for AI agents" — grade outcomes and end state, not tool trajectories; CCAR-P Domain 4报告此题的问题

9. 9. 某摘要团队以与参考摘要的 ROUGE-L 重合度为优化目标。分数连续六周上升，与此同时支持人员反映摘要变得更难用了。选择 1 项：这最可能说明什么？

   • A.该指标只是代理指标，奖励与参考摘要的表层重合，优化因此偏向对齐措辞而非真正的可用性。✓ 答案
   • B.参考摘要本身在这六周里退化了，分数衡量的其实是参考文本的漂移而非模型输出。
   • C.ROUGE-L 算在了错误的字段上，一旦改为只对摘要正文计分，报告中的提升就会消失。
   • D.支持人员依据的是比撰写评测集参考摘要时更新的风格指南，两者标准并不一致。

   这正是古德哈特定律的现实版：ROUGE-L 奖励与参考文本的 n-gram 重合，它与质量相关但并不等于质量，持续优化会把系统推向代理指标而远离真实目标。当代理与目标背离时，正确做法是重新锚定指标——改用基于评分标准的评审或反映使用者实际需求的任务结果指标——而不是继续去爬那个代理分数。

   编号 QB-MSPUDM依据： Anthropic, "Create strong empirical evaluations" — choosing metrics that reflect the task goal; CCAR-P Domain 4报告此题的问题

10. 10. 某平台团队维护两套评测。A 套件目前通过率 41%，用于判断一种新做法是否值得投入；B 套件通过率 100%，在每次提示词提交时运行。选择 1 项：B 套件的用途是什么？

    • A.校准用途：满分成绩确立了性能上限，用来把 A 套件的 41% 归一化成可比较的能力数值。
    • B.验收用途：满分套件是干系人签字确认的门槛，A 套件则是团队内部不外传的研究视角。
    • C.回归用途：它按设计应保持接近满分，某次提交出现下降即说明改动破坏了原本正常的行为。✓ 答案
    • D.饱和控制：套件一旦到达满分就退役，B 已排期由取自 A 套件的更难任务来替换掉。

    能力型评测刻意从低通过率起步，才留有衡量进展的空间；回归型评测覆盖的是已知能正常工作的行为，本就应保持在或接近满分——正因如此，出现一条新的失败才成为可据以行动的告警。回归套件开始失败，报告的是退化而不是难度。

    编号 QB-REWM6C依据： Anthropic Engineering, "Demystifying evals for AI agents" — capability vs regression evaluations; CCAR-P Domain 4报告此题的问题

11. 11. 一处提示词改动修好了已上报的退款资格类问题的失败案例。选择 1 项：这条改动上线之前应当先做什么？

    • A.在改后的提示词上跑完整回归套件，并把逐条任务结果与上一版本对比，而不只看总通过率。✓ 答案
    • B.请另一位评审阅读差异，确认新措辞与系统提示词中已有的其他指令之间不存在冲突。
    • C.先用开关灰度上线并观察一周的生产投诉量，这是在真实流量而非陈旧评测任务上衡量该改动。
    • D.只针对已报告的失败例以及几条类似的退款问题验证，因为这次改动只覆盖了那一种行为。

    提示词改动的影响并非局部：指令之间会相互作用，修好一个案例可能悄悄弄坏另外几个。把两个版本的逐条任务结果对比，才能抓到那些由通过翻转为失败的任务，而这类翻转完全可能被没变甚至变好的总通过率掩盖掉。

    编号 QB-9X3TRC依据： Anthropic, "Create strong empirical evaluations" — regression testing of prompt changes; CCAR-P Domain 4报告此题的问题

12. 12. 某工程师报告了 9 分的评测提升，而这次改动在同一个提交里同时更换了模型档位、重写了系统提示词并把检索片段数量翻倍。选择 1 项：正确的处理方式是什么？

    • A.保留改动但换第二个 LLM 评审复评，因为这么大的波动通常反映评分器方差而非真实提升。
    • B.丢弃结果并重建评测集，因为单次提交就有 9 分波动说明任务太简单、缺乏信息量。
    • C.接受这个提升并把组合固化下来，因为上线跑的就是这个组合，评测衡量的也正是它。
    • D.在同一份留出集上分别单独重跑这三项改动，因为合并提交无法把提升归因到任何单一变量。✓ 答案

    归因需要隔离变量：三项改动同时发生时，可能其中一项贡献了全部提升，而另一项是被总分掩盖的回归，团队因此学不到任何可复用的东西。把每项改动在同一份留出集上分别重跑，并让评测版本与提示词一同固化，才能把一次侥幸的提交变成可重复的结论。

    编号 QB-QEJAZA依据： Anthropic, "Create strong empirical evaluations" — controlled comparison and held-out test sets; CCAR-P Domain 4报告此题的问题

13. 13. 财务部门在比较文档问答智能体的两种配置。配置 A 单次 API 调用更便宜但完成任务需要更多轮次；配置 B 单次调用更贵但通常一轮就能完成。选择 1 项：应当以哪种口径来决定选型？

    • A.每完成一个任务的总成本，计入端到端的全部调用、重试与工具往返，因为需更多轮次的便宜调用并不便宜。✓ 答案
    • B.每个首轮即成功的单位成本，它把模型自身的质量与外围调度框架的重试机制区分开来核算。
    • C.每次调用成本乘以月度调用量预测，这也是财务部门在其他各项服务上一直沿用的口径。
    • D.每输入 token 的成本，因为在重检索的负载中输入侧占大头，各配置的输出长度大致相当。

    经济性的计量单位是"完成的任务"而不是"一次请求"。单次价格更低的配置，可能要消耗更多调用、重试与工具往返才能达成同样的结果，因此把整条轨迹算完之后总额会反转；而按整条轨迹核算，也正是让两种设计在延迟与质量取舍上可比的前提。

    编号 QB-8XQFKB依据： Anthropic, "Reducing costs" / token-optimisation guidance; CCAR-P Domain 4 (cost per completed task)报告此题的问题

14. 14. 某基于 Claude 的政策助手在评测集上的正确率约为 70%。失败主要表现为输出格式不符，以及缺少参考答案中包含的注意事项。选择 1 项：应当最先尝试哪个杠杆？

    • A.放宽检索范围，让每次查询返回更多政策片段，使注意事项进入上下文供模型引用。
    • B.换到更高档位的模型并提高推理强度，因为格式规范与内容完整度都与模型原始能力高度相关，值得先试。
    • C.先把提示词写清楚，并补上展示所需格式与注意事项写法的少样本示例，再在同一评测集上复评。✓ 答案
    • D.把流程改造成先生成、再由独立的批评步骤检查每份草稿的格式与遗漏的注意事项。

    优化杠杆按由廉到贵的顺序尝试，而这里的失败特征——输出格式不一致，加上参考答案共有的某种写法被漏掉——正是把指令写清楚并给出少样本示例所能修复的。放宽检索、改造流程、提高档位或推理强度都会增加成本或延迟，因此只有在排除提示词因素之后才逐一尝试，并且每次都在同一评测集上度量。

    编号 QB-TEMAHE依据： Anthropic prompt engineering guidance — few-shot examples for output consistency; CCAR-P Domains 2 and 4报告此题的问题

15. 15. 某客服助手在每次请求中都发送一份很长的静态政策语料、一组固定工具，然后是用户的问题。p95 延迟与成本都超出预算，且尚未启用提示词缓存。选择 1 项：团队应采用哪种布局？

    • A.保持工具与政策语料原封不动放在最前，把缓存断点设在它们之后，用户问题排在断点后面。✓ 答案
    • B.为便于追踪，在语料之前插入请求时间戳，从时间戳开始缓存，使每个会话共享一个稳定前缀。
    • C.把包含问题在内的整个请求都缓存起来，让不同用户的重复提问命中缓存并跳过语料部分。
    • D.把用户问题放在最前面让模型先看到意图，随后是政策语料，缓存断点设在整个请求的末尾。

    缓存是对渲染后的工具、系统提示、消息这一顺序做前缀匹配，因此断点之前的一切在各次请求中必须逐字节一致，任何易变内容都必须排在断点之后。按这种布局，命中缓存能同时降低重复部分的成本与延迟，这也是为什么缓存应当排在任何牺牲质量的取舍之前。

    编号 QB-BXSF4F依据： Anthropic, "Prompt caching" (platform.claude.com/docs/en/build-with-claude/prompt-caching); CCAR-P Domain 4报告此题的问题

16. 16. 某高流量端点已配置提示词缓存，但用量数据显示，在共享同一系统提示词与工具的数千次请求中 cache_read_input_tokens 始终为零。选择 1 项：最可能的原因是什么？

    • A.缓存条目在两次请求之间就已过期，因为该端点的流量被分散到大量并发会话线程上去了。
    • B.缓存读取只在写入条目的那次请求上报，因此这个零值只是用量字段填充方式造成的假象。
    • C.前缀中有逐请求变化的内容——时间戳、会话 id 或键序不定的工具定义——使其后的全部内容失效。✓ 答案
    • D.断点被放在用户消息之后，导致缓存区域包含了下一次请求无法逐字节复现的那部分内容。

    命中缓存要求前缀完全一致，因此断点之前任何一个字节的变化都会让整段缓存区域失效，每次请求都走写入路径而不是读取路径。cache_read_input_tokens 正是此处的诊断指标：在看起来完全相同的请求上持续为零，指向的是前缀中某个悄悄使缓存失效的因素，而不是过期或上报口径问题。

    编号 QB-SE9YBD依据： Anthropic, "Prompt caching" — exact prefix matching and cache_read_input_tokens verification; CCAR-P Domain 4报告此题的问题

17. 17. 某合规团队每月要对四百万份归档文档重新分类，同时还要支撑一个 p95 需在 2 秒以内的交互式审核控制台。有方案提议把全部流量都走 Batch API，并对控制台请求做加急。选择 1 项：应当如何调整？

    • A.只把控制台走批处理，归档改为实时处理，因为归档量大得多、更需要吞吐上的余量。
    • B.全部仍走批处理，并对控制台前缀做缓存，因为命中缓存能省下足够时间满足两秒要求。
    • C.全部仍走批处理，但把每批规模缩小以更快返回结果，使异步周转落进控制台的延迟预算内。
    • D.只把归档积压走 Batch API，审核控制台仍用实时接口，因为批处理是以延迟换成本。✓ 答案

    批处理是异步的，其价格更低正是因为它放弃了延迟保证，因此任何批处理配置——包括把批次拆小——都无法满足交互式 p95 目标。正确的架构按紧急程度拆分流量：大批量、不紧急的重新分类走批处理，受延迟约束的控制台请求留在实时接口上。

    编号 QB-AXE5XD依据： Anthropic, Message Batches API overview (asynchronous processing, latency traded for cost); CCAR-P Domains 3 and 4报告此题的问题

18. 18. 某 RAG 助手的 p95 为 6 秒，其中查询向量化约 0.4 秒、对 100 个候选做重排约 3.1 秒、生成约 2.2 秒、其余约 0.3 秒。选择 1 项：团队应当先做什么？

    • A.把生成换成更快的模型档位，因为生成是唯一能靠模型选择改变延迟画像的环节。
    • B.缩短系统提示词并裁剪检索到的上下文，因为在 RAG 系统里输入 token 数是端到端延迟的主导因素。
    • C.打开流式响应，令 token 立即开始输出，把用户实际感受到的延迟数字压到预算之内。
    • D.剖析并压缩重排阶段——减少候选数或换更轻的重排器——因为它是实测 p95 里占比最大的环节。✓ 答案

    延迟优化要从分阶段的实测出发，先攻占比最大的环节；这里重排占了预算的一半以上，生成约占三分之一。流式输出能改善感知到的首个 token 时间，但既不减少总体墙钟时间也不降低成本，因此它是对重排优化的补充而不是替代。

    编号 QB-MEGAG7依据： Anthropic, "Reducing latency" guidance (measure per stage; streaming affects perceived latency only); CCAR-P Domains 3 and 4报告此题的问题

19. 19. 在一次大规模文档刷新后的当晚，某 RAG 助手开始引用已被取代的旧流程。提示词、模型版本与评测框架均未变动。选择 1 项：应当最先排查什么？

    • A.提示词：当检索到的段落彼此冲突时，落地约束是否强到足以阻止模型凭记忆作答。
    • B.模型：是否有版本被静默前滚，以致它更倾向使用参数化知识而不是上下文中给出的段落。
    • C.评审：评测中的有据性评分器是否发生漂移，如今放行了指向语料中已不存在文档的引用。
    • D.索引：刷新后的文档是否重新切块并重新嵌入，旧向量是否被删除而不是与新向量并存。✓ 答案

    当提示词、模型与评测框架都未改动，而问题恰在内容刷新之后立刻出现时，故障出在检索层而不是模型——典型原因是索引里残留了旧向量、有文档未重新嵌入，或切块边界发生了变化。正确的修复是重新嵌入并重建索引；换更大的模型只会忠实地依据同样陈旧的段落作答。

    编号 QB-5XNF38依据： Anthropic retrieval-augmented generation guidance; CCAR-P Domain 3 (diagnosing retrieval failure vs model failure)报告此题的问题

20. 20. 某智能体评测对每条任务在 8 次尝试下给出两个数字：pass@8 与 pass^8。在一个季度里，pass@8 从 0.62 升到 0.91，而 pass^8 从 0.30 降到 0.11。选择 1 项：这一模式说明了什么？

    • A.两个指标都在变好，因为 pass^8 用的是更严格的分母，数值偏低只是这种归一化方式的结果。
    • B.评分器这一季变严格了，因为两个指标出自同一批试验，只有评分口径改变才可能出现背离。
    • C.智能体如今能至少成功一次的任务变多了，但一致性变差，单次无人监督尝试的成功概率反而下降。✓ 答案
    • D.评测集已经饱和，pass@8 超过 0.9 后余量太小，两个数字都不再携带可用的能力信号。

    pass@k 是 k 次尝试中至少成功一次的概率，随 k 上升；pass^k 是 k 次全部成功的概率，随 k 下降。因此 pass@k 上升而 pass^k 下降，意味着覆盖面变广是以更大的方差换来的，而这对只有一次无人监督尝试机会的生产路径影响直接。

    编号 QB-Q36RNN依据： Anthropic Engineering, "Demystifying evals for AI agents" — pass@k versus pass^k; CCAR-P Domain 4报告此题的问题

21. 21. 某架构师要把一个生产环境的摘要服务从一个 Claude 模型档位迁移到另一个档位。团队的提示词已相当成熟，回归套件在当前档位上全绿。选择 1 项：正确的迁移步骤是什么？

    • A.切换前先在新档位上跑同一套评测并逐条比对结果，因为提示词行为不会原样迁移过去。✓ 答案
    • B.相信绿色的回归套件直接切换，因为能在一个档位上通过的套件按构造就编码了与模型无关的行为。
    • C.选在低流量时段切换并盯住监控面板，因为生产流量比评测集更真实地检验新档位的表现。
    • D.先针对新档位重调提示词再评测一次，因为在新档位上评测未经调整的提示词衡量的是错误配置。

    模型行为并不可移植：同一份提示词在不同档位上可能在格式、冗长度、拒答行为与工具使用上发生变化，因此旧档位上的全绿套件对新档位毫无说明力。在两个档位上跑同一套评测并逐条比对结果，才是放行或叫停的证据，而失败的那些任务正是随后重调提示词应当针对的目标。

    编号 QB-7KYJ3N依据： Anthropic model migration guidance — re-evaluate prompts against the target model before cutover; CCAR-P Domains 2 and 4报告此题的问题

22. 22. 某检索助手在两个月内把评测套件的成绩从 91% 提到 93.5%。如今每再提升一个百分点都要耗费数周工程时间，而自 91% 那次发布以来支持工单量一直持平。选择 1 项：架构师应当建议什么？

    • A.为剩下的几个点升到更高的模型档位，因为工程人周的成本高于该档位所增加的推理开销。
    • B.继续优化准确率，因为工单量是滞后指标，越过更高阈值之后收益才会在支持侧显现出来。
    • C.对照它本应推动的业务指标宣布目标已达成，把套件冻结为回归门禁，精力转向成本、延迟或新问题。✓ 答案
    • D.用更难的任务重建评测套件，因为分数超过 90% 说明套件已饱和，无法再指导后续任何工作。

    当继续提升不再推动系统本应改善的业务结果时，优化就该停下；两个月的评测提升伴随工单量持平，说明在这一水平上指标与目标已经脱钩。该套件仍有用武之地，可作为守住当前行为的回归门禁，而腾出的工程力量应转向仍然超预算的那些维度。

    编号 QB-P3TDGM依据： Anthropic, "Define your success criteria" — criteria tied to business outcomes and stopping conditions; CCAR-P Domains 4 and 6报告此题的问题

练习题依据官方 Claude 认证架构师专业级（CCAR-P）考试指南和 Anthropic 公开文档编写。这是一个独立的学习工具，与 Anthropic 无关联、未获其认可，也不授予任何认证。考试由 Pearson VUE 交付；当前的题量、考试时长、通过分数和费用以 Anthropic 官方 CCAR-P 考试指南公布的为准。 官方认证页面 →