Conectar un modelo de IA da una respuesta. Para confiar en ella hace falta poder revisarla.

Estado

Output Bench es el primer proyecto de la línea muga.dev / sistemas verificables. En agosto de 2026 quedó como plan técnico y pedagógico, antes de empezar la implementación.

Cómo funciona

La primera versión es una herramienta de línea de comandos. Parte de un dataset versionado, corre cada caso contra un proveedor, valida la estructura de la respuesta y produce reportes en JSON y Markdown.

Qué se separa en cada evaluación

  • lo que decide el sistema
  • lo que propone el modelo
  • lo que se comprueba automáticamente
  • lo que necesita una persona
  • lo que se rechaza

Qué encontramos

Una salida que varía también se puede seguir. Reproducir una evaluación es poder reconstruir el dataset, la configuración, el modelo, la respuesta y las reglas que se aplicaron, aunque el texto cambie.

Alcance de la 0.1.0

  • diez casos
  • un proveedor simulado y uno real
  • validaciones deterministas
  • reportes comparables

Los tests usan el proveedor simulado.