Nota técnica / Ejercicio público
Una respuesta plausible también necesita evidencia.
Un ejercicio para distinguir una estructura válida de afirmaciones respaldadas.
El ejercicio
El ejercicio público es un ejemplo original recreado. No es un documento de Oracle ni evidencia de que todos sus temas se hayan impartido allí.
Prompt: Usando únicamente la fuente proporcionada, devuelve un resumen y un identificador de fuente. Si la fuente no permite establecer la respuesta, devuelve insufficient_evidence.
Caso de fallo: Una respuesta puede cumplir la estructura JSON esperada y aun así citar una fuente inexistente.
Criterios de revisión
- Validar la estructura de la respuesta en el límite de la API.
- Comprobar que el identificador citado exista en el conjunto de fuentes proporcionado.
- Mantener la evidencia ausente como pendiente, en lugar de inventar una cita.
- Recurrir a revisión humana para evaluar si la fuente realmente respalda el resumen.
Una revisión útil plantea dos preguntas: ¿existe la referencia y respalda la afirmación? La primera admite una comprobación determinista; la segunda requiere evaluar el significado.
Qué demuestra
Define el comportamiento ante fallos antes de ejecutar un agente. Una fuente ausente debe seguir visible como evidencia faltante, para que el siguiente paso sea revisar o mejorar la entrada.
Ejercicio público original con ejemplos sintéticos aislados. Sin llamadas a modelos ni código del empleador. La validación comprueba la estructura y la existencia de la fuente; una persona debe evaluar si esta respalda la respuesta.
Prueba el ejemplo original: descarga el ejemplo y ejecuta node evidence-gate.mjs.
Cuatro ejemplos deterministas produjeron los resultados esperados: fuente existente → lista para revisión; cita inventada → fuente ausente; evidencia explícitamente insuficiente → requiere revisión; respuesta mal formada → estructura inválida.
Descargar el ejercicio ejecutable ↓Ver comprobaciones ejecutables en Evalgate ↗