Agent skill · software engineering · affaan-m
eval-harness
Framework formal de evaluación para sesiones de Claude Code que implementa principios de desarrollo orientado a evals (EDD)
Why this skill is useful
Adds executable scripts for automated evaluation and regression testing that enhance the AI's capability to assess code changes effectively.
What it needs
Requires bash, grep installed locally. About 4k tokens when loaded. Last updated 2026-08-06. 238,342 stars on the source repository.
What this skill does
Skill Eval Harness Un framework formal de evaluación para sesiones de Claude Code, implementando principios de desarrollo orientado a evals (EDD). Cuándo Activar Configurar desarrollo orientado a evals (EDD) para flujos de trabajo asistidos por IA Definir criterios de pass/fail para la completitud de tareas en Claude Code Medir confiabilidad del agente con métricas pass@k Crear suites de pruebas de regresión para cambios de prompts o agentes Comparar rendimiento del agente entre versiones de modelos Filosofía El Desarrollo Orientado a Evals trata los evals como las "pruebas unitarias del desarrollo de IA": Definir el comportamiento esperado ANTES de la implementación Ejecutar evals continuamente durante el desarrollo Rastrear regresiones con cada cambio Usar métricas pass@k para medición de confiabilidad Tipos de Eval Evals de Capacidad Probar si Claude puede hacer algo que antes no podía: Evals de Regresión Asegurar que los cambios no rompan la funcionalidad existente: Tipos de Evaluador 1. Evaluador Basado en Código Verificaciones deterministas usando código: 2. Evaluador Basado en Modelo Usar Claude para evaluar salidas de forma abierta: 3. Evaluador Humano Marcar para revisión manual: Métricas pass@k "Al menos un éxito en k intentos" pass@1: Tasa de éxito en el primer intento pass@3: Éxito dentro de 3 intentos Objetivo típico: pass@3 > 90% pass^k "Todos los k ensayos tienen éxito" Barra más alta para confiabilidad pass^3: 3 éxitos consecutivos Usar para rutas críticas Flujo de Trabajo de Eval 1. Definir (Antes de Codificar) 2. Implementar Escribir código para pasar los evals definidos. 3. Evaluar 4. Reportar Patrones de Integración Pre-Implementación Crea el archivo de definición de eval en .claude/evals/feature-name.md Durante la Implementación Ejecuta los evals actuales y reporta el estado Post-Implementación Genera el reporte completo de eval Almacenamiento de Evals Almacenar evals en el proyecto: Buenas Prácticas 1. …
How to use it
Reference it in AdaL, Claude Code, Cursor or any coding agent — nothing to install:
@skills affaan-m/eval-harness--4c22cd