Proyecto independiente / Evalgate
Conservar la evidencia del fallo.
Los contratos de trabajo en Markdown conectan criterios de aceptación con comprobaciones ejecutables y resultados visibles.

El problema
Que un agente declare una tarea terminada no demuestra que cumpla los criterios de aceptación. El resultado necesita una comprobación que se pueda inspeccionar.
Lo que construí
Desarrollé Evalgate para conectar contratos de trabajo en Markdown con comprobaciones ejecutables, registrar sus resultados y mantener los fallos sin resolver para inspección y reintento explícito.
Decisión y compromiso
Definir un verificador junto con la tarea y usar su resultado para actualizar la finalización. Las comprobaciones shell y HTTP evalúan condiciones explícitas; el juicio de un modelo tiene una incertidumbre distinta.
Una comprobación aprobada solo demuestra la propiedad evaluada. Los reintentos son explícitos y el número declarado es orientativo. Las comprobaciones JSON validan una estructura limitada; los patrones de archivos no son un motor de diferencias semánticas.
La finalización depende del verificador
- Restricción: El informe de un agente no es evidencia de aceptación.
- Decisión: Ejecutar un verificador explícito y conservar su salida.
- Resultado: Los contratos aprobados se actualizan; los fallos permanecen pendientes para inspección y reintento explícito.
Patrón de implementación verificado en el código; los resultados de ejemplo son ilustrativos. Una aprobación solo cubre la propiedad evaluada. El número de reintentos es orientativo; la evaluación de un modelo difiere de las comprobaciones deterministas.
Explorar la implementación
Ejecución real de ejemplo local · dos comprobaciones aprobadas · un fallo deliberado · comprobaciones sintéticas. Interfaz original en inglés.
1. Comprobaciones aprobadas
Dos comprobaciones sintéticas se aprobaron en la ejecución local real. Son resultados ilustrativos, no una prueba comparativa de rendimiento.
2. Evidencia ausente
La comprobación con evidencia de origen deliberadamente ausente falló. Su contrato permanece pendiente en lugar de declarar la tarea terminada.
3. Revisar y reintentar
Leer la salida del fallo antes de un reintento explícito. Una respuesta plausible no sustituye la evidencia ausente.
Resultado y límites
La CLI interpreta los contratos pendientes, ejecuta sus verificadores, muestra la salida de los fallos y actualiza el Markdown según los resultados. En la ejecución de ejemplo, el contrato sin evidencia de origen permanece pendiente.
Los resultados del ejemplo son evidencia de demostración, no métricas de rendimiento del producto. Aprobar una comprobación no prueba propiedades que no se evaluaron.
Explorar Evalgate en GitHub ↗Más historias de ingeniería