Agent skill · writing content · affaan-m
eval-harness
평가 주도 개발(EDD) 원칙을 구현하는 Claude Code 세션용 공식 평가 프레임워크
Why this skill is useful
Adds a comprehensive evaluation framework with executable scripts for testing AI capabilities that are not covered in standard documentation.
What it needs
Requires bash, grep installed locally. About 4k tokens when loaded. Last updated 2026-08-06. 238,342 stars on the source repository.
What this skill does
평가 하네스 스킬 Claude Code 세션을 위한 공식 평가 프레임워크로, 평가 주도 개발(EDD) 원칙을 구현합니다. 활성화 시점 AI 지원 워크플로우에 평가 주도 개발(EDD) 설정 시 Claude Code 작업 완료에 대한 합격/불합격 기준 정의 시 pass@k 메트릭으로 에이전트 신뢰성 측정 시 프롬프트 또는 에이전트 변경에 대한 회귀 테스트 스위트 생성 시 모델 버전 간 에이전트 성능 벤치마킹 시 철학 평가 주도 개발은 평가를 "AI 개발의 단위 테스트"로 취급합니다: 구현 전에 예상 동작 정의 개발 중 지속적으로 평가 실행 각 변경 시 회귀 추적 신뢰성 측정을 위해 pass@k 메트릭 사용 평가 유형 기능 평가 Claude가 이전에 할 수 없었던 것을 할 수 있는지 테스트: 회귀 평가 변경 사항이 기존 기능을 손상시키지 않는지 확인: 채점자 유형 1. 코드 기반 채점자 코드를 사용한 결정론적 검사: 2. 모델 기반 채점자 Claude를 사용하여 개방형 출력 평가: 3. 사람 채점자 수동 검토 플래그: 메트릭 pass@k "k번 시도 중 최소 한 번 성공" pass@1: 첫 번째 시도 성공률 pass@3: 3번 시도 내 성공 일반적인 목표: pass@3 > 90% pass^k "k번 시행 모두 성공" 신뢰성에 대한 더 높은 기준 pass^3: 3회 연속 성공 핵심 경로에 사용 평가 워크플로우 1. 정의 (코딩 전) 2. 구현 정의된 평가를 통과하기 위한 코드 작성. 3. 평가 4. 보고서 통합 패턴 구현 전 .claude/evals/feature-name.md에 평가 정의 파일 생성 구현 중 현재 평가를 실행하고 상태 보고 구현 후 전체 평가 보고서 생성 평가 저장소 프로젝트에 평가 저장: 모범 사례 1. 코딩 전에 평가 정의 - 성공 기준에 대한 명확한 사고를 강제 2. 자주 평가 실행 - 회귀를 조기에 포착 3. 시간에 따른 pass@k 추적 - 신뢰성 추세 모니터링 4. 가능하면 코드 채점자 사용 - 결정론적 > 확률적 5. 보안에는 사람 검토 - 보안 검사를 완전히 자동화하지 말 것 6. 평가를 빠르게 유지 - 느린 평가는 실행되지 않음 7. 코드와 함께 평가 버전 관리 - 평가는 일급 산출물 예시: 인증 추가 제품 평가 (v1.8) 행동 품질을 단위 테스트만으로 포착할 수 없을 때 제품 평가를 사용하세요. 채점자 유형 1. 코드 채점자 (결정론적 어서션) 2. 규칙 채점자 (정규식/스키마 제약 조건) 3. 모델 채점자 (LLM 심사위원 루브릭) 4. 사람 채점자 (모호한 출력에 대한 수동 판정) pass@k 가이드 pass@1: 직접 신뢰성 pass@3: 제어된 재시도 하에서의 실용적 신뢰성 pass^3: 안정성 테스트 (3회 모두 통과해야 함) 권장 임계값: 기능 평가: pass@3 >= 0.90 회귀 평가: 릴리스 핵심 경로에 pass^3 = 1.00 평가 안티패턴 알려진 평가 예시에 프롬프트 과적합 정상 경로 출력만 측정 합격률을 쫓으면서 비용과 지연 시간 변동 무시 릴리스 게이트에 불안정한 채점자 허용 최소 평가 산출물 레이아웃 .claude/evals/<feature>.md 정의 .claude/evals/<feature>.log 실행 이력 docs/releases/<version>/eval-summary.md 릴리스 스냅샷
How to use it
Reference it in AdaL, Claude Code, Cursor or any coding agent — nothing to install:
@skills affaan-m/eval-harness--fbad48