22 道模型、提示与上下文工程练习题及答案

Claude 认证架构师（专业级）考试练习的全部模型、提示与上下文工程练习题，附正确答案和简短解析。

1. 某团队为一个智能体式工单处理负载对比两种配置。单价更便宜的一种解决了 77% 的工单，但轮次和重试更多；单价更贵的一种用更少轮次解决了 88%。财务问哪一种运行起来更便宜。架构师应当如何界定这个比较？
- A.比较两者公布的输入与输出单价，因为单价不随每次运行而变化。
- B.比较两种配置的总支出除以各自真正解决的工单数，也就是每单解决成本。✓ 答案
- C.比较两次试点的月度账单，账单金额更低的那个配置就是财务该出钱的。
- D.比较两者平均每次请求消耗的令牌数，请求体量更小的配置扩展更便宜。
模型选型的核算单位是每个已完成任务的成本，而不是每令牌成本。单价更高但用更少轮次、更少重试就把活干完的模型，其每单解决成本可能反而更低；单价和每请求令牌数都无法说明一个任务要尝试多少次。除非两次试点完成的有效工作量相同，否则直接比账单同样没有意义。
编号 QB-3285H9依据： CCAR-P Exam Guide v1.0, Domain 2 (Claude Models, Prompting & Context Engineering) — select models based on trade-offs; Anthropic, 'Choosing the right model' / 'Optimizing for cost and intelligence' — cost per completed task报告此题的问题
2. 某客服摘要服务每次请求都附带一大段一成不变的政策语料，且从未启用提示缓存。账单已经翻倍。团队的第一个提议是把这条路由换成更小、更便宜的模型。架构师应当先做什么？
- A.立刻把这条路由换成更小的模型，之后再跑质量评测，看摘要是否仍然可以接受。
- B.先为稳定语料开启提示缓存并重新测量，因为这个手段不牺牲质量就能降低支出。✓ 答案
- C.先加上按请求的成本日志和告警，让团队在改动配置之前先观察这条路由的花费。
- D.先调低这条路由的推理力度，因为力度是最便宜的旋钮，而且不需要改动请求内容。
成本手段是有先后顺序的：不牺牲质量的免费收益要排在任何以能力换成本的手段之前。每次请求都重复的稳定前缀，正是提示缓存要解决的场景，缓存读取的开销显著低于同样令牌的未缓存读取。调低力度和更换模型都会让渡质量，应当在免费收益落地之后再测量；加日志只能观察问题，并不能降低开销。
编号 QB-JH2YW8依据： CCAR-P Exam Guide v1.0, Domain 4 (Evaluation, Testing & Optimization) — optimize token usage, latency and cost-performance trade-offs; Anthropic, 'Optimizing for cost and intelligence' — lever order (free wins before trade-offs)报告此题的问题
3. 某文档审阅管线在能力最强的模型上以默认力度运行，成本超出预算。一位工程师提议做一个双模型级联：便宜的模型处理简单文档，难的再升级上去。更合适的第一个实验是什么？
- A.加一个监控钩子记录每份文档的令牌花费，好让团队看清究竟是哪些文档拉高了账单。
- B.在开关后面把级联管线搭出来，用整整一周的线上流量与现有管线做对比。
- C.在现有评测集上用同一个模型、更低的推理力度跑一遍，看准确率是否还站得住。✓ 答案
- D.调高请求超时和重试上限，让难处理的文档第一次就跑完，而不是再跑第二遍。
调整推理力度是更省事的实验，因为它只改动现有架构上的一个参数，而强模型在较低力度下往往仍能保住准确率并显著降低开销。级联则带来一条需要长期维护的路由规则、一种判错时的新失败模式，以及第二套缓存命名空间——缓存条目归属于写入它的模型。超时与重试上限在这里既不影响成本也不影响准确率。
编号 QB-22VSB8依据： CCAR-P Exam Guide v1.0, Domain 2 — model selection trade-offs and tuning effort; Anthropic, 'Optimizing for cost and intelligence' — measure lower effort on the strong model before building a multi-model pipeline报告此题的问题
4. 某助手先发送一大段稳定的系统提示，随后是用户轮次。尽管提示文本看上去没变，但每次请求的缓存读取令牌数都是零。检查发现系统提示的开头有一行渲染当前日期和时间。应当如何修复？
- A.把渲染的时间戳四舍五入到整点，这样同一小时内发出的请求文本就完全一致。
- B.把渲染出来的时间戳从系统提示里挪走，放进最后一个缓存断点之后的用户轮次。✓ 答案
- C.把缓存条目改成更长的存活时间，让它在那一行不断变化的情况下也能跨请求留存。
- D.紧接着时间戳那一行加一个缓存断点，让系统提示的其余部分单独缓存起来。
提示缓存是前缀匹配：任何一个字节发生变化，从该位置往后的内容全部失效。时间戳位于系统提示最开头，改变的正是前缀的首批字节，因此其后的内容永远无法复用。易变内容应当放在最后一个断点之后。延长存活时间只能让条目活得更久，无法让变化后的前缀重新匹配；把断点设在易变行之后，其前面仍是每次请求都不同的字节。
编号 QB-NH4YEC依据： CCAR-P Exam Guide v1.0, Domain 2 — optimize context windows and token usage; Anthropic prompt caching documentation — prefix match, silent invalidators, placement of volatile content报告此题的问题
5. 某团队要为一个多轮智能体设计经得起时间考验的缓存布局。它带有固定的工具集、一段很长的系统提示、一份每场会话才更换（会话内不变）的检索案卷，以及用户的问题。这些内容应当如何排布？
- A.把用户问题放在案卷之前，让模型先读到请求，然后再读它接下来要用到的参考材料。
- B.把案卷放在工具集与系统提示之前，让体量最大的一块先进缓存，较小的几块跟在后面。
- C.在四块内容之后各设一个断点，让每一段都能各自缓存、并按各自的节奏分别失效。
- D.工具集与系统提示放在最前，把每场会话才变一次的案卷放在其后，最后一个断点设在案卷之后。✓ 答案
内容按工具、系统提示、消息的顺序渲染，缓存按前缀匹配，因此各块必须按从最稳定到最易变排列。工具集与系统提示在所有会话中都稳定，案卷在一场会话内稳定，问题则每轮都变，所以最后一个断点应设在案卷之后。为每一块单独设断点并不能让各段拥有独立寿命，因为任何靠前的块一旦变化，其后的全部内容都会失效。
编号 QB-52XSUB依据： CCAR-P Exam Guide v1.0, Domain 2 — prompt reuse and context optimization; Anthropic prompt caching documentation — render order (tools → system → messages) and breakpoint placement报告此题的问题
6. 某对话产品在会话前几轮用小模型服务，当问题变复杂时把同一场会话升级到更大的模型。团队原本期待升级后的那一轮能读到前面几轮建立的缓存。为什么并没有发生？
- A.缓存条目在工具结果返回时就过期，因此调用工具的会话不会留下可复用的前缀。
- B.缓存条目归属于写入它的模型，升级后的那一轮只会新写一条，而不是读到旧的。✓ 答案
- C.缓存条目在助手每次追加一轮时都会失效，所以一场会话里只有第一次请求能读到它。
- D.缓存条目只在单次请求内有效，因此无论哪个模型接手，后续请求都要重建前缀。
缓存是按模型隔离的：为某个模型服务时写入的条目，另一个模型读不到，因此会话中途切换模型会作废此前累积的全部缓存读取，并在新模型上重新付一次写入费用。这正是级联与路由方案中经常被忽视的真实成本，必须与其预期节省一起权衡。追加助手轮次和返回工具结果都只是延长前缀，本身并不会终止复用。
编号 QB-MHRM9B依据： CCAR-P Exam Guide v1.0, Domain 2 — model selection trade-offs; Anthropic prompt caching documentation — cache entries are scoped per model报告此题的问题
7. 给某条路由加上缓存断点之后，一位工程师报告说情况变糟了：部署后的第一次请求显示输入成本比以前更高。架构师应当如何回应？
- A.把断点撤掉，因为一个在首次请求就抬高输入成本的配置，后面也补不回这个差额。
- B.去检查构造请求的那段代码，因为一个写得正确的缓存配置根本不会让输入成本上升。
- C.从第二次请求开始比较用量字段，因为第一次请求付的是写入费用，之后的请求才会读到条目。✓ 答案
- D.把断点往提示更靠后的位置挪，因为写入这么贵说明标成可缓存的内容实在太多了。
缓存写入的开销略高于同样令牌的未缓存读取，而缓存读取的开销显著更低，因此部署后的第一次请求看起来像是倒退，节省要从第二次请求起才显现。缓存效果必须通过报告缓存创建与缓存读取令牌数的用量字段来验证，并跨多次重复请求测量，而不能凭单次调用或阅读代码下结论。
编号 QB-42KFPA依据： CCAR-P Exam Guide v1.0, Domain 4 — monitor with logging and observability; Anthropic prompt caching documentation — cache write vs. cache read pricing direction and verification via usage fields报告此题的问题
8. 某夜间任务重新分类前一天的客服工单，分析师第二天早上查看结果。另一个工作负载则在顾客停留在页面上等待时对工单进行分类。批处理应当用在哪里？
- A.把夜间的重新分类任务交给批处理，而面向顾客的那条路径继续走标准请求。✓ 答案
- B.把面向顾客的路径交给批处理，夜间任务走标准请求，因为夜间任务的量更大。
- C.两个工作负载都走批处理，并把轮询频率提到足够高，让面向顾客的路径仍能快速回答。
- D.两个工作负载都留在标准请求上，因为批处理结果返回的顺序调用方无法控制。
批处理是以延迟换成本：任务进入队列并异步返回，因此适用于任何没有用户在等待的负载，而不适用于有用户等待的负载。提高轮询频率并不能缩短队列。结果乱序返回确实是它的性质，但正确做法是按调用方自己的标识符匹配结果、而不是按位置匹配，所以这并不构成夜间任务放弃批处理的理由。
编号 QB-FHYXD5依据： CCAR-P Exam Guide v1.0, Domain 4 — cost-performance trade-offs; Anthropic Message Batches documentation — asynchronous processing, results keyed by the caller's custom identifier报告此题的问题
9. 某团队在迁移一个较旧的服务，询问如何沿用他们为最难的用例手工调过的固定每请求思考令牌预算。架构师应当如何建议？
- A.把固定预算保留为上限，再叠加力度设置，这样路由既有硬上限，又用上了新的控制方式。
- B.把响应令牌上限设成同一个数字来复现预算，因为这个字段同样能限制推理深度。
- C.干脆去掉预算、不再指定推理深度，因为任何对深度的显式控制都会拖累最难的用例。
- D.改用自适应推理，并为这条路由设定力度等级，固定预算只是同一控制的旧形态。✓ 答案
自适应推理是同一理念的现代表达：不再由调用方选定一个统一适用的固定额度，而是由模型按请求自行调整深度，架构师只为这条路由设定力度等级。按最难用例调出来的固定预算，会在占多数的简单请求上白白多花。响应令牌上限是对响应本身的强制上限、模型看不到它，因此无法替代对推理深度的控制。
编号 QB-XZSST4依据： CCAR-P Exam Guide v1.0, Domain 2 — model configuration trade-offs; Anthropic extended thinking documentation — adaptive thinking supersedes a fixed thinking-token budget; effort as the depth control报告此题的问题
10. 某组织有三条 Claude 路由：对每条入站消息运行的意图分类器、一个聊天助手，以及一个长周期的代码迁移智能体。一位平台工程师提议在共享配置里为三者设定同一个力度等级。更好的设计是什么？
- A.按路由分别设定力度：高流量分类器用低档，长周期迁移智能体用较高档。✓ 答案
- B.三条路由统一设为高力度，因为分类器输出很短，多出来的推理花不了多少钱。
- C.三条路由统一设为低力度，再把迁移智能体的响应上限调高，让它有余量跑完。
- D.各处都不设力度，改用按路由的速率限制来控制花费，谁也超不过自己的份额。
哪些负载值得投入更高力度，取决于负载本身而不是组织：长周期与智能体类工作能从更深的推理中显著获益，而分类等高流量或对延迟敏感的路由收益很小，却要在每一次调用上为多出来的令牌买单。因此力度应当放在按路由的配置里。速率限制只能封顶风险敞口，并不会改变任何单次请求的成本或质量。
编号 QB-2U65UD依据： CCAR-P Exam Guide v1.0, Domain 4 — optimize cost-performance trade-offs; Anthropic, 'Optimizing for cost and intelligence' — effort by workload type, tuned per route报告此题的问题
11. 某架构师想把一条面向客户的抽取路由的默认力度调低。厂商文档称，在公开基准上较低档位的成本明显更低，准确率只有小幅下降。做出这项改动的可辩护依据是什么？
- A.直接采用公布的基准差值，因为那是在比任何团队都更广的任务集上测出来的。
- B.只在团队认为最难的三个请求上做并排比较，因为难例才是真正决定成败的地方。
- C.看这一周里悄悄并行跑低档设置期间，客户有没有提出任何投诉作为判断依据。
- D.用这条路由自己最近的生产请求抽样，把两档设置各跑一遍，再用评测集打分。✓ 答案
模型或配置决策要用在真实负载上的测量来辩护，绝不能靠关于哪种设置更好的泛泛之词。公开基准的差值描述的是另一种任务组合，无法预测这条路由的表现。三条手挑的请求样本太小，不足以归因差异；而没有投诉是滞后且不灵敏的信号，会漏掉无人察觉的静默抽取错误。
编号 QB-JBCAEE依据： CCAR-P Exam Guide v1.0, Domain 4 — design evaluation datasets, conduct A/B testing and iterative improvement; Anthropic, 'Optimizing for cost and intelligence' — measure on real traffic before changing a default报告此题的问题
12. 某团队提议做一个路由器，检查每个进入的请求并把简单的发给更便宜的模型。但仅凭请求文本看不出这个负载的难度。反对现在就建这个路由器，最有力的论据是什么？
- A.只要工作负载的难例必须交给大模型，小模型就派不上用场，这样拆分省不了钱。
- B.路由规则要随流量和模型变化反复维护与验证，而每个判错的难例还要在大模型上重跑。✓ 答案
- C.路由器不建出来就没法评测，团队等于押注一个谁都估不出准确率的整套架构。
- D.在同一场会话中间切换模型并不被支持，所以任何一次升级都得把会话从头再来。
路由器本身就是一个有自身准确率、自身维护负担和自身失败模式的组件，只有当执行方能廉价地分辨难例与简单例时才划算。本例恰恰做不到，因此判错的请求要付两次钱，而规则在每次流量或模型变化后都需重新验证。路由器在上线前可以用历史请求回放来评测；跨轮次切换模型也是可行的，代价是作废缓存，而不是被禁止。
编号 QB-ZTTSNC依据： CCAR-P Exam Guide v1.0, Domain 1 (Solution Design & Architecture) — select the simplest architectural tier that meets the need; Anthropic, 'Optimizing for cost and intelligence' — when a multi-model split does not pay报告此题的问题
13. 某位利益相关方断言，对于常见问题解答这条路由，更小的模型显然就够用了。架构师应当如何把这个问题定下来？
- A.让大模型去给小模型的一批回答打分，只要多数评分结果都不错就采用小模型。
- B.对照两个模型公布的能力档位直接换成小模型，因为回答常见问题本来就不难。
- C.先在这条路由上换成小模型，盯住点踩反馈，一旦负面率高于当前水平就立刻回滚。
- D.用一批留出的真实常见问题请求，配上评分标准给两个模型打分，只有小模型达标才切换。✓ 答案
够用与否要靠论证而不是假设：只有当小模型在这条路由自己的留出请求集（带已知正确答案）上达到既定质量线，才可以切换。公布的能力档位描述的是总体水平，而非这项具体任务。先上线再看反馈等于把客户放进实验里，且只能发现投诉；让大模型在没有标准答案的情况下打分，衡量的是一致性而不是正确性。
编号 QB-HBZX8D依据： CCAR-P Exam Guide v1.0, Domain 4 — define evaluation metrics and design evaluation datasets; Anthropic, 'Choosing the right model' — validate a downgrade against your own evaluation set报告此题的问题
14. 某服务在六个调用点写死了模型标识，其提示词还是两个模型代际之前调的。团队希望为下一次模型发布做好准备。他们应当改什么？
- A.在每个调用点把标识写死冻结，这样在团队安排迁移之前，新版本不会改变行为。
- B.给每个调用点套上重试，一旦请求新模型失败就自动回落到上一个模型标识。
- C.把模型标识挪到配置里，并保留一套评测集，切换前后都能对候选模型跑一遍。✓ 答案
- D.启动时从模型清单里读标识并永远取最新的一条，让服务自动跟随每次发布。
模型选择应当存在于配置中，而不是固化在调用点里的假设；切换前后要用同一套评测集把关，这样变化才可归因。为旧代际调过的提示词往往需要重新审视，因为帮助过某一代模型的指令可能会束缚新一代。自动采用清单里最新的一条会在没有任何评测的情况下改变行为；靠重试回落则是在掩盖质量变化，而不是在测量它。
编号 QB-YTFFGB依据： CCAR-P Exam Guide v1.0, Domain 6 (Stakeholder Communication & Lifecycle Management) — support lifecycle phases (design, handoff, monitoring, iteration); Anthropic model migration guidance — re-evaluate prompts tuned for an earlier model报告此题的问题
15. 在一次设计评审中，有人要求架构师凭记忆说出每个候选模型的上下文窗口和每令牌价格，以填写对比表。正确的做法是什么？
- A.干脆不放这张表，只按候选模型在团队评测集上跑出来的结果做比较。
- B.照着当前的模型清单和价格文档填表，并把查阅这些数字的日期一并记录下来。✓ 答案
- C.凭记忆填表并标注为暂定，因为真正决定这次取舍的是各能力档位之间的相对次序。
- D.照着上个季度设计文档里的数字填表，因为那些数字在当时评审时已经核对过。
能力、延迟、价格和上下文容量确实是模型之间存在差异的几条轴，但它们的当前取值应当去查而不是去记：模型清单接口和当前的价格文档才是权威，任何一次发布都可能改变这些数字。记录查阅日期能让后来的读者判断这张表有多陈旧。只按评测结果比较则会忽略价格和上下文上限，而它们是实实在在的设计约束。
编号 QB-GBNM3C依据： CCAR-P Exam Guide v1.0, Domain 6 — document architectures and provide implementation guidance; Anthropic Models API documentation — query the model listing for current context and capability values报告此题的问题
16. 某医疗客户要求推理必须在特定地域内运行，且部署平台必须来自他们的批准清单。能力最强的候选模型并未在该地域的该平台上提供。架构师应当如何推进？
- A.部署能力最强的模型，并用系统提示明确规定它不得存储或传输任何患者信息。
- B.选用能力最强的模型，同时向客户的合规团队提交例外申请，建设工作并行推进。
- C.采用能力最强的模型，并加上响应日志与人工复核队列，问题在触及患者前拦下。
- D.先把候选范围收窄到该地域、该获批平台上确实提供的模型，再在其中比较成本与质量。✓ 答案
合规约束在任何成本或能力比较开始之前就先过滤候选集，因为推理地域和平台可用性是关于该负载在法律上可以在哪里运行的结构性事实，而不是事后再去缓解的风险。某个平台上提供的特性或模型，在另一个平台上可能根本不存在。系统提示规则只是模型可能不遵守的指令；日志加复核则只能在违规已经发生之后才发现它。
编号 QB-XT45BA依据： CCAR-P Exam Guide v1.0, Domain 5 (Governance, Safety & Risk Management) — ensure compliance with regulations (GDPR, HIPAA, FedRAMP); Anthropic platform availability documentation — model and feature availability varies by platform and inference geography报告此题的问题
17. 某结账页助手有一个合同约定的 p95 延迟指标。在质量评测中得分最高的那个配置，有三分之一的请求达不到该指标。架构师应当把什么带到干系人评审会上？
- A.把各配置在质量与延迟上的实测结果摆出来，并给出一个能达标的推荐方案。✓ 答案
- B.提出直接上线得分最高的配置，同时配一个延迟一旦超标就触发的告警。
- C.提议上线得分最高的配置，并在提示里要求模型尽量简短地作答以压低延迟。
- D.要求把延迟指标改成内部目标，好让得分最高的配置可以照原样上线。
合同约定的延迟指标是硬性设计约束，因此它有理由排除掉能力最强的配置；可辩护的推荐方案，是那个满足约束、并用业务语言说明其质量代价、且有测量支撑的方案。告警只能在顾客已经受影响之后报告超标；靠提示要求简短并不是可靠的延迟控制手段；而单方面把承诺降级为目标，属于干系人并未同意的重新谈判。
编号 QB-FBAAWA依据： CCAR-P Exam Guide v1.0, Domain 6 — communicate architectural decisions and trade-offs; manage expectation alignment including SLAs报告此题的问题
18. 某工作负载先从一份合同中抽取字段，再对照一份政策文档校验，然后起草一份摘要。每一步都依赖上一步，全部材料也放得进一个上下文窗口。一位工程师提议用一个编排层加三个子智能体。更好的设计是什么？
- A.保留编排层并加一个共享记忆库，让三个子智能体不必各自重复读同一份合同。
- B.把设计收敛成单一上下文里的一条顺序工作流，因为任何一步都要等上一步完成。✓ 答案
- C.把编排收缩成两个子智能体，抽取与校验合并成一步，最后要归并的结果就更少。
- D.保留三个子智能体，但都换成最便宜的模型，让多出来的规划与合并轮次尽量少花钱。
多智能体编排只有在存在真正可并行的大批量工作、或工作量超出单个上下文窗口时才划算。在一条严格依赖、且能装进一个上下文的链条上，编排层要为规划、派发和合并这些轮次买单，而单次顺序运行免费就有这些，并且还引入了协调层面的失败模式。给子智能体换更便宜的模型、减少子智能体数量、加共享存储，都只是在削减一个本不该存在的结构的开销。
编号 QB-WTRS59依据： CCAR-P Exam Guide v1.0, Domain 1 — select architectural patterns (workflow, agentic, augmented LLM); choose the simplest tier that meets the need报告此题的问题
19. 某智能体循环的成本主要来自每一轮都要重发很长的会话历史。一位工程师提议每轮都清理历史里的旧工具结果以降低支出。架构师应当怎么说？
- A.清理旧结果每一轮都跑才省得最多，所以应该把执行频率再调紧，而不是重新考虑。
- B.清理旧结果要等会话真的超出窗口才起作用，现在这么改对请求本身没有任何影响。
- C.清理旧结果会抹掉模型依赖的证据，循环虽然少花令牌，却会在后半程失败得更多。
- D.清理旧结果会改动前缀并迫使会话重新缓存，它管的是上下文窗口，而不是花费。✓ 答案
上下文编辑会从历史中移除较早的工具结果，这改动了已缓存的前缀，于是下一次请求必须把整段会话重新写入缓存。由于缓存写入的开销高于缓存读取，一次清理有可能比它省下的令牌还贵。它是用来把会话保持在上下文窗口之内的工具，而不是省钱手段；长循环真正的省钱手段是一个稳定的缓存前缀。
编号 QB-EBXXQ9依据： CCAR-P Exam Guide v1.0, Domain 4 — optimize token usage and cost-performance trade-offs; Anthropic context editing documentation — context editing is a context-window mechanism, distinct from caching economics报告此题的问题
20. 为了给一个长时间运行的编码智能体封顶花费，一位工程师把响应令牌上限设得很低。现在的运行会在修改到一半时中断，并从头重试。正确的配置是什么？
- A.把响应上限调回一个宽裕的兜底值，再用模型自己能看见的任务预算来控制节奏。✓ 答案
- B.维持较低的响应上限，并在系统提示里明确要求模型在剩余令牌之内做完每一处修改。
- C.沿用较低的响应上限并调低推理力度，让额度更多花在输出上而不是推理上。
- D.保持较低的响应上限，另加一个续跑步骤，从上一次被截断的位置继续往下做。
响应令牌上限是模型永远看不到的强制上限，因此它是防止输出失控的兜底，而不是调优旋钮：触顶意味着这次尝试失败，重试的花费高于上限省下的钱。任务预算才是控制节奏的机制，因为它是建议性的、且对模型可见，能让模型在额度内体面收尾。提示里的指令无法把请求本身并不携带的信息告诉模型。
编号 QB-VPFKAV依据： CCAR-P Exam Guide v1.0, Domain 4 — optimize token usage and cost-performance trade-offs; Anthropic task budgets documentation — task budget is advisory and model-visible, distinct from the enforced response ceiling报告此题的问题
21. 某政策助手开始给出语气笃定、却引用了已被取代的政策措辞的回答。这一变化与一次批量文档刷新同时发生；模型版本、力度设置和延迟均无变化。调查应当从哪里入手？
- A.从索引与检索环节查起，看这次刷新是否在索引里留下了检索器仍会命中的过期片段。✓ 答案
- B.从采样参数查起，看温度是不是高到让模型能编出听上去很权威的政策条文。
- C.从上下文窗口查起，看刷新后的文档是不是太大，在调用前被悄悄截断了一部分。
- D.从模型的训练数据查起，看它记住的政策措辞是否早于刷新语料里的那个版本。
回答语气笃定却在具体事实上出错，时间点又与语料变更吻合，且模型配置毫无改动，这指向的是检索层而不是模型：助手只是忠实地总结了递给它的片段，而那些片段已经过期。首先要检查的是这次刷新是否重建了索引并清除了被取代的内容。行为发生变化时，采样参数和训练数据并没有变。
编号 QB-C7AEQU依据： CCAR-P Exam Guide v1.0, Domain 4 — diagnose system issues (prompt failure, hallucinations, model mismatch); official sample item on stale retrieval after a document refresh报告此题的问题
22. 某团队在生产请求的随机样本上测试了一个更便宜的模型，发现它在其中 90% 上与现有模型持平。他们提议把整条路由切过去。在切换之前，架构师应当要求什么？
- A.在现有模型已经答对的那些请求上看结果，因为它们定义了这条路由必须守住的质量线。
- B.在更大的随机样本上看结果，因为再多抽几百条随机请求就能把剩下的不确定性定下来。
- C.在刻意加重难例的样本上看结果，因为难处理的长尾才是重试和升级真正烧钱的地方。✓ 答案
- D.让团队自己的工程师在同一批随机样本上逐条复核，因为人工能看出分数看不出的问题。
随机样本由中位请求主导，但账单和失败率是由难处理的长尾决定的——正是在那里，较弱的模型需要升级、重试和人工介入。因此够不够用必须按工作负载中最难的那一成来定价，而不是按平均情形。再抽一次更大的随机样本，得到的仍是同一分布；对简单用例做人工复核意义不大；只测现有模型已经答对的请求，恰恰掩盖了真正有争议的失败。
编号 QB-UP495U依据： CCAR-P Exam Guide v1.0, Domain 4 — design evaluation datasets and test frameworks; Anthropic, 'Optimizing for cost and intelligence' — price the hard tail of the workload, not the median case报告此题的问题

本考试的其他主题

解决方案设计与架构22 道免费练习题集成与 RAG22 道免费练习题评估、测试与优化22 道免费练习题治理、安全与利益相关者22 道免费练习题

练习题依据官方 Claude 认证架构师专业级（CCAR-P）考试指南和 Anthropic 公开文档编写。这是一个独立的学习工具，与 Anthropic 无关联、未获其认可，也不授予任何认证。考试由 Pearson VUE 交付；当前的题量、考试时长、通过分数和费用以 Anthropic 官方 CCAR-P 考试指南公布的为准。官方认证页面 →

1. 某团队为一个智能体式工单处理负载对比两种配置。单价更便宜的一种解决了 77% 的工单，但轮次和重试更多；单价更贵的一种用更少轮次解决了 88%。财务问哪一种运行起来更便宜。架构师应当如何界定这个比较？

2. 某客服摘要服务每次请求都附带一大段一成不变的政策语料，且从未启用提示缓存。账单已经翻倍。团队的第一个提议是把这条路由换成更小、更便宜的模型。架构师应当先做什么？

3. 某文档审阅管线在能力最强的模型上以默认力度运行，成本超出预算。一位工程师提议做一个双模型级联：便宜的模型处理简单文档，难的再升级上去。更合适的第一个实验是什么？

4. 某助手先发送一大段稳定的系统提示，随后是用户轮次。尽管提示文本看上去没变，但每次请求的缓存读取令牌数都是零。检查发现系统提示的开头有一行渲染当前日期和时间。应当如何修复？

5. 某团队要为一个多轮智能体设计经得起时间考验的缓存布局。它带有固定的工具集、一段很长的系统提示、一份每场会话才更换（会话内不变）的检索案卷，以及用户的问题。这些内容应当如何排布？

6. 某对话产品在会话前几轮用小模型服务，当问题变复杂时把同一场会话升级到更大的模型。团队原本期待升级后的那一轮能读到前面几轮建立的缓存。为什么并没有发生？

7. 给某条路由加上缓存断点之后，一位工程师报告说情况变糟了：部署后的第一次请求显示输入成本比以前更高。架构师应当如何回应？

8. 某夜间任务重新分类前一天的客服工单，分析师第二天早上查看结果。另一个工作负载则在顾客停留在页面上等待时对工单进行分类。批处理应当用在哪里？

9. 某团队在迁移一个较旧的服务，询问如何沿用他们为最难的用例手工调过的固定每请求思考令牌预算。架构师应当如何建议？

10. 某组织有三条 Claude 路由：对每条入站消息运行的意图分类器、一个聊天助手，以及一个长周期的代码迁移智能体。一位平台工程师提议在共享配置里为三者设定同一个力度等级。更好的设计是什么？

11. 某架构师想把一条面向客户的抽取路由的默认力度调低。厂商文档称，在公开基准上较低档位的成本明显更低，准确率只有小幅下降。做出这项改动的可辩护依据是什么？

12. 某团队提议做一个路由器，检查每个进入的请求并把简单的发给更便宜的模型。但仅凭请求文本看不出这个负载的难度。反对现在就建这个路由器，最有力的论据是什么？

13. 某位利益相关方断言，对于常见问题解答这条路由，更小的模型显然就够用了。架构师应当如何把这个问题定下来？

14. 某服务在六个调用点写死了模型标识，其提示词还是两个模型代际之前调的。团队希望为下一次模型发布做好准备。他们应当改什么？

15. 在一次设计评审中，有人要求架构师凭记忆说出每个候选模型的上下文窗口和每令牌价格，以填写对比表。正确的做法是什么？

16. 某医疗客户要求推理必须在特定地域内运行，且部署平台必须来自他们的批准清单。能力最强的候选模型并未在该地域的该平台上提供。架构师应当如何推进？

17. 某结账页助手有一个合同约定的 p95 延迟指标。在质量评测中得分最高的那个配置，有三分之一的请求达不到该指标。架构师应当把什么带到干系人评审会上？

18. 某工作负载先从一份合同中抽取字段，再对照一份政策文档校验，然后起草一份摘要。每一步都依赖上一步，全部材料也放得进一个上下文窗口。一位工程师提议用一个编排层加三个子智能体。更好的设计是什么？

19. 某智能体循环的成本主要来自每一轮都要重发很长的会话历史。一位工程师提议每轮都清理历史里的旧工具结果以降低支出。架构师应当怎么说？

20. 为了给一个长时间运行的编码智能体封顶花费，一位工程师把响应令牌上限设得很低。现在的运行会在修改到一半时中断，并从头重试。正确的配置是什么？

21. 某政策助手开始给出语气笃定、却引用了已被取代的政策措辞的回答。这一变化与一次批量文档刷新同时发生；模型版本、力度设置和延迟均无变化。调查应当从哪里入手？

22. 某团队在生产请求的随机样本上测试了一个更便宜的模型，发现它在其中 90% 上与现有模型持平。他们提议把整条路由切过去。在切换之前，架构师应当要求什么？

本考试的其他主题