22 Preguntas de Práctica de Evaluación, pruebas y optimización con Respuestas

1. 1. Un equipo va a empezar a mejorar una función de resumen de siniestros basada en Claude. Tienen quejas acumuladas de usuarios pero ningún conjunto de evaluación, y el responsable propone ajustar prompts ahora y construir las evaluaciones cuando el prompt se estabilice. Seleccione 1: ¿cuál es la objeción más fuerte a ese orden?

   • A.Sin registrar un arnés de evaluación ante el proveedor no se pueden desplegar cambios de prompt, así que evaluar es un requisito previo.
   • B.Sin una decisión de nivel de modelo sobre la mesa el conjunto no sirve de nada, por lo que corresponde después del trabajo de prompt.
   • C.Sin un prompt definitivo el modelo no tiene de dónde generar el conjunto de evaluación, de modo que la secuencia debe empezar por ahí.
   • D.Sin un conjunto de evaluación fijo, cada cambio de prompt se juzga con ejemplos improvisados y una mejora real no se distingue del ruido ni de una regresión.✓ Respuesta

   El conjunto de evaluación es el instrumento de medida, y uno construido después de los cambios queda moldeado por ellos. Un conjunto fijo y versionado creado antes de optimizar permite puntuar cada cambio candidato sobre las mismas tareas, de modo que mejoras y regresiones se ven en lugar de suponerse. La plataforma no exige registrar ningún arnés, y las tareas salen del tráfico real, no del prompt.

   Ref. QB-RS474SFuente: Anthropic, "Create strong empirical evaluations" (platform.claude.com/docs/en/test-and-evaluate/develop-tests); CCAR-P Domain 4 (Evaluation, Testing & Optimization)Reportar un problema con esta pregunta

2. 2. Un asistente de clasificación de soporte puntúa bien en demostraciones pero enruta mal los tickets reales. El equipo arma su primer conjunto de evaluación de unas 30 tareas. Seleccione 1: ¿qué composición representa mejor la producción?

   • A.Tickets bien redactados por el propio equipo, de modo que cada tarea lleve una etiqueta inequívoca y la entrada sucia no hunda la puntuación.
   • B.Tickets reales de producción, cargados hacia las categorías y casos límite que ya causaron errores de enrutamiento, con ejemplos positivos y negativos.✓ Respuesta
   • C.Tickets sintéticos generados por Claude a partir de la política de enrutamiento, que cubre por igual cada categoría documentada y se regenera barato.
   • D.Tickets únicamente de la categoría de mayor volumen, porque arreglar el camino común mueve la cifra agregada de exactitud más que nada.

   Un conjunto representativo se extrae del tráfico real y sobremuestrea a propósito los casos difíciles y los modos de fallo ya observados, porque son lo que el cambio pretende arreglar; equilibrar casos positivos y negativos mantiene honesta la nota. Los conjuntos limpios, de una sola categoría o puramente sintéticos miden una distribución que el sistema nunca enfrenta.

   Ref. QB-8AXZGRFuente: Anthropic Engineering, "Demystifying evals for AI agents" (20-50 tasks mined from real failures); CCAR-P Domain 4Reportar un problema con esta pregunta

3. 3. Una canalización de extracción de facturas devuelve un objeto JSON con proveedor, fecha y total por documento. El equipo debe calificar 400 tareas de evaluación cada noche. Seleccione 1: ¿qué enfoque de calificación encaja?

   • A.Similitud coseno entre la salida y el registro de referencia, con umbral para que las extracciones casi idénticas pasen y el resto falle.
   • B.Calificación por código que analiza el JSON y compara cada campo con el valor etiquetado, normalizando formatos de fecha y de moneda.✓ Respuesta
   • C.Un juez LLM que puntúe cada extracción de 1 a 5 por calidad general, porque tolera la variación de formato que la igualdad exacta reprobaría.
   • D.Revisión humana de una muestra de 20 tareas cada noche como puntuación principal, ya que los errores tienen consecuencias financieras.

   Cuando la respuesta correcta es verificable —un campo coincide con el valor etiquetado o no— un calificador determinista es lo más rápido, reproducible y barato, y la normalización absorbe la variación de formato legítima que la igualdad literal reprobaría. Los jueces y la similitud añaden no determinismo innecesario, y la revisión humana no cubre 400 tareas por noche.

   Ref. QB-QSRUWQFuente: Anthropic, "Create strong empirical evaluations" — code-based grading preferred where outputs are exactly checkable; CCAR-P Domain 4Reportar un problema con esta pregunta

4. 4. Un equipo califica un asistente de redacción jurídica por fidelidad a la fuente, tono y completitud. Su prompt de juez pide a una sola llamada que pondere las tres y emita una única nota de 1 a 5, y los debates de calidad se estancan. Seleccione 1: ¿qué debería cambiar?

   • A.Un juez por dimensión, cada uno con su propia rúbrica y su propia llamada, de modo que fidelidad, tono y completitud den notas separadas.✓ Respuesta
   • B.Mantener el juez holístico único pero ampliar la escala a 1-10, dándole la resolución necesaria para expresar compromisos entre dimensiones.
   • C.Mantener la llamada holística y añadir ejemplos de salidas de 1, 3 y 5 para que el juez ancle su escala general de forma más consistente.
   • D.Sustituir al juez por el propio modelo generador con más esfuerzo, ya que el autor sabe en qué dimensión hizo la concesión.

   Un juez holístico promedia dimensiones en silencio, así que una caída de fidelidad puede quedar tapada por un buen tono y la nota deja de ser accionable. Una rúbrica y una llamada aislada por dimensión da señales separadas y diagnosticables; ni una escala más fina ni los anclajes deshacen el promedio, y usar al generador como juez elimina la independencia.

   Ref. QB-7AKPBQFuente: Anthropic, "Create strong empirical evaluations" — LLM-based grading guidance (one rubric per dimension); CCAR-P Domain 4Reportar un problema con esta pregunta

5. 5. Un juez LLM califica respuestas de recuperación como ancladas o no. Sus notas derivan semana a semana incluso sobre salidas sin cambios, y los revisores no logran reproducirlas. Seleccione 1: ¿qué diseño de juez mejora más la confiabilidad?

   • A.Un prompt de calificación regenerado en cada corrida desde la rúbrica vigente, para que el juez refleje siempre la definición más nueva del equipo.
   • B.El mismo modelo y prompt que el generador, de modo que el juez comparta su interpretación de la tarea y deje de discrepar de la respuesta.
   • C.Un prompt de calificación fijo y versionado que exija razonamiento breve y luego un veredicto restringido, con salida 'desconocido' y auditorías humanas periódicas.✓ Respuesta
   • D.Una temperatura de muestreo más alta en el juez, para que sus veredictos exploren lecturas distintas y se promedien en una nota más justa.

   La reproducibilidad viene de fijar el calificador: prompt versionado, razonamiento forzado que luego se descarta, formato de salida restringido y una salida explícita de 'desconocido' en vez de una conjetura obligada, más auditorías del propio calificador contra expertos. Regenerar el prompt y subir la temperatura añaden justo la varianza denunciada, y un juez con el modelo y prompt del generador hereda sus puntos ciegos.

   Ref. QB-PSDHRPFuente: Anthropic, "Create strong empirical evaluations" — LLM grader design (rubric, forced reasoning, constrained output, escape hatch); CCAR-P Domain 4Reportar un problema con esta pregunta

6. 6. Un equipo dispone de dos clínicos senior cuatro horas por semana y de una evaluación nocturna de 500 tareas de resumen clínico. Seleccione 1: ¿cómo debería usarse ese tiempo experto?

   • A.Calificar cada tarea de la categoría de mayor riesgo como nota de producción, dejando el calificador automático solo para el resto.
   • B.Escribir tareas de evaluación nuevas cada semana en vez de calificar, porque redactarlas amplía la cobertura más rápido que calificarlas.
   • C.Calificar una muestra estratificada y contrastarla con el calificador automático, ajustando la rúbrica donde los veredictos diverjan.✓ Respuesta
   • D.Calificar las 40 tareas que el calificador automático ya marca como aprobadas, confirmando la tasa de aprobación antes de informarla.

   Los expertos humanos son el patrón de oro pero no escalan a 500 tareas por noche, así que su uso de mayor palanca es calibrar el calificador automático: una vez calibrado, este asume todo el volumen con una tasa de error conocida. Muestrear solo aprobados o una sola categoría deja sin medir la discrepancia justo en los casos que importan.

   Ref. QB-6A8C6PFuente: Anthropic, "Create strong empirical evaluations" — human grading as calibration for automated graders; CCAR-P Domain 4Reportar un problema con esta pregunta

7. 7. Antes de un piloto, un responsable de producto escribe el criterio de éxito de una función de desvío de chat con Claude como 'el asistente responde correctamente al menos el 90% de las veces'. Seleccione 1: ¿cuál es el defecto principal de ese criterio?

   • A.Compromete una cifra de exactitud sin conjunto de evaluación, y los criterios solo se escriben tras medir una línea base.
   • B.Es unidimensional: fija la exactitud y deja sin límite la latencia, el coste por interacción y el comportamiento de seguridad.✓ Respuesta
   • C.Nombra un porcentaje y no un recuento absoluto, así que no puede verificarse hasta conocer el tráfico total del piloto.
   • D.Pone el listón demasiado bajo: una función que falla una de cada diez veces no aguanta el volumen real de soporte en producción.

   Los buenos criterios de éxito son específicos, medibles y multidimensionales: una meta de exactitud junto a un percentil de latencia, un techo de coste por interacción y un piso de seguridad. Una sola cifra de exactitud puede cumplirla un sistema demasiado lento, caro o inseguro, así que por sí sola no puede autorizar un lanzamiento.

   Ref. QB-NS27KNFuente: Anthropic, "Define your success criteria" (platform.claude.com/docs/en/test-and-evaluate/define-success); CCAR-P Domain 4Reportar un problema con esta pregunta

8. 8. Un agente reserva salas de reunión internas. La evaluación aprueba un ensayo solo si el agente llama a search_rooms, luego check_conflicts y luego create_booking en ese orden, y los ensayos que reservan la sala correcta por otra vía suspenden. Seleccione 1: ¿cuál es la corrección?

   • A.Calificar el estado final —la reserva que queda y sus atributos— en lugar de la secuencia de llamadas que la produjo.✓ Respuesta
   • B.Sustituir el calificador por un juez LLM que lea la transcripción y decida si la trayectoria elegida por el agente parece razonable.
   • C.Ampliar las secuencias aceptadas a una lista blanca con los tres o cuatro órdenes que los revisores consideran legítimos.
   • D.Mantener la comprobación de secuencia y fijar el orden en el prompt de sistema, para que el comportamiento coincida con el calificador.

   Comprobar la ruta de forma rígida castiga enfoques alternativos válidos y convierte la evaluación en una medida de conformidad y no de capacidad. Verificar el estado final —la sala correcta reservada, sin doble reserva, con los asistentes correctos— sigue siendo determinista y admite cualquier ruta correcta, mientras que fijar el orden en el prompt sube la nota restringiendo al agente en vez de medirlo mejor.

   Ref. QB-5AVZYMFuente: Anthropic Engineering, "Demystifying evals for AI agents" — grade outcomes and end state, not tool trajectories; CCAR-P Domain 4Reportar un problema con esta pregunta

9. 9. Un equipo de resumen optimiza contra el solapamiento ROUGE-L con resúmenes de referencia. Las notas suben durante seis semanas mientras los agentes de soporte reportan que los resúmenes son más difíciles de usar. Seleccione 1: ¿qué indica esto con mayor probabilidad?

   • A.La métrica es un sustituto que premia el solapamiento superficial con las referencias, y la optimización derivó hacia igualar la redacción, no la utilidad.✓ Respuesta
   • B.Los resúmenes de referencia se han degradado en estas seis semanas, de modo que la nota mide la deriva de las referencias y no la salida.
   • C.ROUGE-L se calcula sobre el campo equivocado y las mejoras reportadas desaparecen en cuanto se puntúa solo el cuerpo del resumen generado.
   • D.Los agentes de soporte juzgan con una guía de estilo más nueva que la usada al redactar los resúmenes de referencia del conjunto.

   Es la ley de Goodhart en la práctica: ROUGE-L premia el solapamiento de n-gramas con una referencia, que correlaciona con la calidad pero no es la calidad, así que optimizar sostenidamente empuja hacia el sustituto y lejos del objetivo. Cuando ambos divergen, la solución es reanclar la métrica —un juez con rúbrica o una medida de resultado— y no seguir escalando el sustituto.

   Ref. QB-MSPUDMFuente: Anthropic, "Create strong empirical evaluations" — choosing metrics that reflect the task goal; CCAR-P Domain 4Reportar un problema con esta pregunta

10. 10. Un equipo de plataforma mantiene dos suites de evaluación. La suite A aprueba hoy al 41% y decide si vale la pena seguir un enfoque nuevo; la suite B aprueba al 100% y corre en cada commit de prompt. Seleccione 1: ¿para qué sirve la suite B?

    • A.Calibración: su puntuación perfecta fija el techo contra el que el 41% de la suite A se normaliza en una cifra de capacidad directamente comparable.
    • B.Aceptación: la suite al 100% es la puerta que los interesados firman, y la suite A es la vista interna de investigación del equipo.
    • C.Regresión: se mantiene cerca del 100% por diseño, así que cualquier caída en un commit indica que el cambio rompió algo que funcionaba.✓ Respuesta
    • D.Control de saturación: una suite que llega al 100% se retira, y B ya está programada para sustituirse por tareas más difíciles de A.

    Las evaluaciones de capacidad se diseñan para empezar bajas y dejar margen donde medir el progreso, mientras que las de regresión cubren comportamiento ya conocido como correcto y deben quedarse en o cerca del 100%, que es justo lo que convierte un solo fallo nuevo en una alarma accionable. Una suite de regresión que empieza a fallar reporta degradación, no dificultad.

    Ref. QB-REWM6CFuente: Anthropic Engineering, "Demystifying evals for AI agents" — capability vs regression evaluations; CCAR-P Domain 4Reportar un problema con esta pregunta

11. 11. Una edición de prompt corrige un fallo reportado en preguntas sobre elegibilidad de reembolso. Seleccione 1: ¿qué debe ocurrir antes de que esa edición se despliegue?

    • A.Ejecutar la suite completa de regresión y comparar los resultados tarea por tarea con la versión anterior, no solo la tasa agregada.✓ Respuesta
    • B.Pedir a un segundo revisor que lea el diff y confirme que la nueva redacción no contradice otra instrucción del prompt de sistema.
    • C.Desplegar tras un flag y vigilar el volumen de quejas en producción una semana, midiendo el cambio en tráfico real y no en tareas viejas.
    • D.Probar el caso reportado y algunas preguntas de reembolso parecidas, ya que el cambio se acotó a ese único comportamiento.

    Los cambios de prompt tienen efectos no locales, porque las instrucciones interactúan y arreglar un caso puede romper otros en silencio. Comparar resultados tarea por tarea entre las dos versiones detecta las tareas que pasaron de aprobar a fallar, algo que una tasa agregada igual o incluso mejor puede ocultar por completo.

    Ref. QB-9X3TRCFuente: Anthropic, "Create strong empirical evaluations" — regression testing of prompt changes; CCAR-P Domain 4Reportar un problema con esta pregunta

12. 12. Un ingeniero reporta una ganancia de 9 puntos en la evaluación tras un cambio que en un solo commit cambió el nivel de modelo, reescribió el prompt de sistema y duplicó los fragmentos recuperados. Seleccione 1: ¿cuál es la respuesta correcta?

    • A.Conservar el cambio pero recalificarlo con un segundo juez LLM, porque un salto así suele reflejar varianza del calificador y no una mejora real.
    • B.Descartar el resultado y rehacer el conjunto de evaluación, porque un salto de 9 puntos indica que las tareas eran demasiado fáciles.
    • C.Aceptar la ganancia y fijar el paquete, porque la combinación es lo que correrá en producción y es lo que la evaluación midió.
    • D.Volver a ejecutar los tres cambios por separado sobre el mismo conjunto reservado, porque un commit combinado no atribuye la ganancia.✓ Respuesta

    Atribuir exige aislar variables: con tres cambios simultáneos, uno puede aportar toda la ganancia mientras otro es una regresión que el agregado tapa, y el equipo no aprende nada reutilizable. Reejecutar cada cambio sobre el mismo conjunto reservado, con la versión de la evaluación fijada junto al prompt, convierte un commit afortunado en un hallazgo repetible.

    Ref. QB-QEJAZAFuente: Anthropic, "Create strong empirical evaluations" — controlled comparison and held-out test sets; CCAR-P Domain 4Reportar un problema con esta pregunta

13. 13. Finanzas compara dos configuraciones de un agente de preguntas sobre documentos. La configuración A cuesta menos por llamada a la API pero necesita más turnos para terminar una tarea; la B cuesta más por llamada y suele terminar en uno. Seleccione 1: ¿qué comparación debe decidir?

    • A.El coste por tarea completada, sumando cada llamada, reintento e ida y vuelta de herramienta, porque una llamada barata con más turnos no sale barata.✓ Respuesta
    • B.El coste por primer turno exitoso, que aísla la calidad propia del modelo de los reintentos que añade el arnés alrededor de la llamada.
    • C.El coste por llamada multiplicado por el volumen mensual previsto, que es la cifra que finanzas ya sigue en todos los demás servicios.
    • D.El coste por token de entrada, ya que la entrada domina el gasto en cargas con mucha recuperación y la salida es similar entre configuraciones.

    La unidad económica es la tarea terminada, no la petición. Una configuración con menor precio por llamada puede consumir más llamadas, reintentos e idas y vueltas de herramientas para llegar al mismo resultado, así que los totales se invierten al costear la trayectoria completa, y costearla es además lo que hace comparables las concesiones de latencia y calidad.

    Ref. QB-8XQFKBFuente: Anthropic, "Reducing costs" / token-optimisation guidance; CCAR-P Domain 4 (cost per completed task)Reportar un problema con esta pregunta

14. 14. Un asistente de políticas basado en Claude acierta cerca del 70% en el conjunto de evaluación. Los fallos son sobre todo respuestas con formato incorrecto y salvedades ausentes que sí traen las respuestas de referencia. Seleccione 1: ¿qué palanca debe probarse primero?

    • A.Ampliar la recuperación para devolver más fragmentos de política por consulta, de modo que las salvedades entren en el contexto.
    • B.Pasar a un nivel de modelo superior y subir el esfuerzo de razonamiento, ya que formato y completitud siguen de cerca la capacidad bruta.
    • C.Aclarar el prompt y añadir ejemplos few-shot con el formato exigido y el patrón de salvedades, y volver a puntuar el mismo conjunto.✓ Respuesta
    • D.Reestructurar la canalización en un paso generador y un paso crítico aparte que revise formato y salvedades de cada borrador.

    La escalera de optimización va de lo más barato a lo más caro, y esta firma de fallo —formato inconsistente más un patrón ausente que todas las referencias comparten— es justo lo que reparan instrucciones más claras y ejemplos few-shot. Ampliar la recuperación, reestructurar la canalización y subir de nivel o de esfuerzo añaden coste o latencia, así que se prueban después y se miden sobre el mismo conjunto.

    Ref. QB-TEMAHEFuente: Anthropic prompt engineering guidance — few-shot examples for output consistency; CCAR-P Domains 2 and 4Reportar un problema con esta pregunta

15. 15. Un agente de soporte envía en cada petición un corpus de políticas estático y largo, un conjunto fijo de herramientas y luego la pregunta del usuario. La latencia p95 y el coste exceden el presupuesto y no se ha habilitado el caché de prompts. Seleccione 1: ¿qué disposición debe adoptarse?

    • A.Mantener herramientas y corpus al frente sin cambios, poner el punto de caché tras ellos y situar la pregunta del usuario después.✓ Respuesta
    • B.Insertar una marca de tiempo antes del corpus por trazabilidad y cachear desde ahí, de modo que cada sesión comparta un prefijo estable.
    • C.Cachear la petición entera incluida la pregunta, para que las preguntas repetidas de distintos usuarios acierten y salten el corpus.
    • D.Poner la pregunta primero para que el modelo vea la intención de inmediato, luego el corpus, con el punto de caché al final.

    El caché es una coincidencia de prefijo sobre herramientas renderizadas, luego sistema y luego mensajes, así que todo lo anterior al punto de corte debe ser idéntico byte a byte entre peticiones y lo volátil debe ir después. Dispuesto así, un acierto reduce coste y latencia de la parte repetida, y por eso se prueba antes que cualquier concesión de calidad.

    Ref. QB-BXSF4FFuente: Anthropic, "Prompt caching" (platform.claude.com/docs/en/build-with-claude/prompt-caching); CCAR-P Domain 4Reportar un problema con esta pregunta

16. 16. El caché de prompts está configurado en un endpoint de alto volumen, pero las cifras de uso muestran cache_read_input_tokens en cero en miles de peticiones que comparten el mismo prompt de sistema y las mismas herramientas. Seleccione 1: ¿cuál es la causa más probable?

    • A.Las entradas de caché caducan entre peticiones porque el tráfico del endpoint se reparte entre muchísimos hilos de conversación simultáneos.
    • B.Las lecturas de caché solo se informan en la petición que escribe la entrada, así que el cero es un artefacto de cómo se rellenan los campos.
    • C.Algo del prefijo varía por petición —una marca de tiempo, un id de sesión o herramientas serializadas con orden de claves no determinista— e invalida lo posterior.✓ Respuesta
    • D.El punto de corte está tras el mensaje del usuario, por lo que la región cacheada incluye contenido que la siguiente petición no reproduce igual.

    Un acierto de caché exige coincidencia exacta de prefijo, así que un solo byte variable antes del punto de corte invalida toda la región cacheada y cada petición paga la ruta de escritura en vez de la de lectura. cache_read_input_tokens es el diagnóstico: un cero persistente entre peticiones aparentemente idénticas señala un invalidador silencioso en el prefijo, no caducidad ni un artefacto de reporte.

    Ref. QB-SE9YBDFuente: Anthropic, "Prompt caching" — exact prefix matching and cache_read_input_tokens verification; CCAR-P Domain 4Reportar un problema con esta pregunta

17. 17. Un equipo de cumplimiento reclasifica cuatro millones de documentos archivados al mes y además atiende una consola interactiva de revisores con un requisito de p95 de 2 segundos. Una propuesta enruta todo por la Batch API y prioriza las peticiones de consola. Seleccione 1: ¿qué debe cambiarse?

    • A.Enviar solo la consola por lote y procesar el archivo en tiempo real, porque el archivo es mucho mayor y necesita margen de rendimiento.
    • B.Dejar todo en lote y cachear el prefijo de la consola, porque un acierto de caché quita bastante espera para cumplir los dos segundos.
    • C.Dejar todo en lote pero reducir el tamaño de cada lote para que los resultados vuelvan antes y entren en el presupuesto de latencia de la consola.
    • D.Enviar solo el archivo histórico por la Batch API y dejar la consola en el endpoint en tiempo real, ya que el lote cambia latencia por coste.✓ Respuesta

    El procesamiento por lotes es asíncrono y cuesta menos precisamente porque renuncia a garantías de latencia, así que ninguna configuración de lote —lotes pequeños incluidos— cumple un objetivo p95 interactivo. La arquitectura correcta divide el tráfico por urgencia: la reclasificación masiva va al lote y las peticiones de consola permanecen en el endpoint en tiempo real.

    Ref. QB-AXE5XDFuente: Anthropic, Message Batches API overview (asynchronous processing, latency traded for cost); CCAR-P Domains 3 and 4Reportar un problema con esta pregunta

18. 18. El p95 de un asistente RAG es de 6 segundos: unos 0,4 s vectorizando la consulta, 3,1 s en un reordenamiento sobre 100 candidatos, 2,2 s en generación y 0,3 s en el resto. Seleccione 1: ¿qué debe hacer el equipo primero?

    • A.Pasar a un nivel de modelo más rápido en la generación, pues es la única etapa donde elegir modelo cambia el perfil de latencia.
    • B.Acortar el prompt de sistema y podar el contexto recuperado, ya que el número de tokens de entrada domina la latencia extremo a extremo.
    • C.Activar el streaming de respuesta, que hace fluir tokens de inmediato y deja la cifra que el usuario percibe dentro del presupuesto.
    • D.Perfilar y recortar el reordenamiento —menos candidatos o un reordenador más barato— porque aporta la mayor parte del p95 medido.✓ Respuesta

    El trabajo de latencia parte de una medición por etapas y ataca al mayor contribuyente: aquí el reordenamiento supera la mitad del presupuesto y la generación ronda un tercio. El streaming mejora el tiempo percibido hasta el primer token pero no cambia el reloj total ni el coste, así que complementa la corrección del reordenamiento en vez de sustituirla.

    Ref. QB-MEGAG7Fuente: Anthropic, "Reducing latency" guidance (measure per stage; streaming affects perceived latency only); CCAR-P Domains 3 and 4Reportar un problema con esta pregunta

19. 19. La noche siguiente a una gran renovación de documentación, un asistente RAG empieza a citar procedimientos derogados. Los prompts, la versión del modelo y el arnés de evaluación no han cambiado. Seleccione 1: ¿qué debe investigarse primero?

    • A.El prompt: si la instrucción de anclaje basta para impedir que el modelo responda de memoria cuando los pasajes recuperados chocan.
    • B.El modelo: si una versión avanzó en silencio y ahora prefiere su conocimiento paramétrico a los pasajes entregados en el contexto.
    • C.El juez: si el calificador de anclaje de la evaluación derivó y hoy aprueba citas que apuntan a documentos ya ausentes del corpus.
    • D.El índice: si los documentos renovados se volvieron a trocear y a vectorizar, y si los vectores viejos se eliminaron o siguen ahí.✓ Respuesta

    Si prompts, modelo y arnés no cambiaron y el comportamiento se rompe justo tras una renovación de contenido, el fallo vive en la capa de recuperación y no en el modelo: vectores obsoletos que quedaron en el índice, documentos nunca revectorizados o límites de fragmento desplazados. La solución es revectorizar y reindexar; un modelo mayor respondería fielmente desde los mismos pasajes caducos.

    Ref. QB-5XNF38Fuente: Anthropic retrieval-augmented generation guidance; CCAR-P Domain 3 (diagnosing retrieval failure vs model failure)Reportar un problema con esta pregunta

20. 20. Una evaluación de agente reporta dos cifras por tarea sobre 8 intentos: pass@8 y pass^8. En un trimestre, pass@8 sube de 0,62 a 0,91 mientras pass^8 cae de 0,30 a 0,11. Seleccione 1: ¿qué indica este patrón?

    • A.El agente mejoró en ambos ejes, porque pass^8 usa un denominador más estricto y un valor menor solo refleja esa normalización más dura.
    • B.El calificador se volvió más estricto, ya que ambas métricas salen de los mismos ensayos y solo divergen si cambió la forma de calificar.
    • C.El agente resuelve más tareas al menos una vez pero con menos consistencia, así que un intento único sin supervisión acierta menos que antes.✓ Respuesta
    • D.El conjunto se ha saturado, porque un pass@8 sobre 0,9 deja muy poco margen para que ninguna de las dos cifras aporte señal útil.

    pass@k es la probabilidad de al menos un éxito en k intentos y sube con k, mientras pass^k es la probabilidad de que los k intentos acierten y baja con k. Que pass@k suba y pass^k caiga significa mayor cobertura comprada con más varianza, lo cual importa directamente para un camino de producción que tiene un único intento sin supervisión.

    Ref. QB-Q36RNNFuente: Anthropic Engineering, "Demystifying evals for AI agents" — pass@k versus pass^k; CCAR-P Domain 4Reportar un problema con esta pregunta

21. 21. Un arquitecto migra un servicio de resumen en producción de un nivel de modelo Claude a otro. Los prompts del equipo están maduros y la suite de regresión está en verde en el nivel actual. Seleccione 1: ¿cuál es el paso de migración correcto?

    • A.Ejecutar la misma suite en el nivel nuevo antes del corte y comparar tarea por tarea, porque el comportamiento del prompt no se transfiere igual.✓ Respuesta
    • B.Confiar en la suite en verde y hacer el corte, porque una suite que aprueba en un nivel codifica por construcción comportamiento independiente del modelo.
    • C.Hacer el corte en una ventana de bajo tráfico y vigilar los paneles, porque el tráfico real ejercita el nivel nuevo mejor que un conjunto fijo.
    • D.Reajustar antes los prompts al nuevo nivel y evaluar una sola vez, porque evaluar un prompt sin ajustar mide una configuración equivocada.

    El comportamiento del modelo no es portable: el mismo prompt puede cambiar en formato, verbosidad, rechazos y uso de herramientas entre niveles, así que una suite en verde en el nivel viejo no dice nada del nuevo. Ejecutar la suite idéntica en ambos y comparar tarea por tarea da la evidencia de go/no-go, y las tareas que fallan son justo el objetivo del reajuste posterior del prompt.

    Ref. QB-7KYJ3NFuente: Anthropic model migration guidance — re-evaluate prompts against the target model before cutover; CCAR-P Domains 2 and 4Reportar un problema con esta pregunta

22. 22. Un asistente de recuperación pasó del 91% al 93,5% en la suite de evaluación en dos meses. Cada punto adicional cuesta ya semanas de ingeniería, y el volumen de tickets de soporte lleva plano desde la versión del 91%. Seleccione 1: ¿qué debe recomendar el arquitecto?

    • A.Subir a un nivel de modelo superior por los puntos restantes, ya que las semanas de ingeniería cuestan más que la inferencia adicional.
    • B.Seguir optimizando la exactitud, porque el volumen de tickets es un indicador rezagado y las mejoras aparecerán al cruzar un umbral mayor.
    • C.Declarar cumplido el objetivo frente a la métrica de negocio que debía mover, congelar la suite como puerta de regresión y pasar a coste y latencia.✓ Respuesta
    • D.Rehacer la suite con tareas más difíciles, porque una nota superior al 90% indica saturación y ya no puede guiar ningún trabajo posterior.

    La optimización se detiene cuando las mejoras ya no mueven el resultado que el sistema existe para mejorar, y dos meses de ganancia en evaluación con tickets planos evidencian que métrica y objetivo se han desacoplado en este nivel. La suite conserva una función como puerta de regresión que protege el comportamiento actual, y el esfuerzo liberado va a las dimensiones aún fuera de presupuesto.

    Ref. QB-P3TDGMFuente: Anthropic, "Define your success criteria" — criteria tied to business outcomes and stopping conditions; CCAR-P Domains 4 and 6Reportar un problema con esta pregunta

Preguntas de práctica basadas en la guía oficial del examen Claude Certified Architect – Professional (CCAR-P) y la documentación pública de Anthropic. Es una herramienta de estudio independiente, no afiliada ni respaldada por Anthropic, y no otorga certificación. Lo administra Pearson VUE; Anthropic publica el número de preguntas, el límite de tiempo, la puntuación de aprobación y la tarifa vigentes en la guía oficial del examen CCAR-P. Página oficial de la certificación →