Agent skill · software engineering · affaan-m
eval-harness
Eval-driven development (EDD) ilkelerini uygulayan Claude Code oturumları için formal değerlendirme çerçevesi
Why this skill is useful
Adds a comprehensive framework for eval-driven development with executable grading scripts and specific evaluation metrics that enhance AI's testing capabilities.
What it needs
Requires bash, grep installed locally. About 4k tokens when loaded. Last updated 2026-08-06. 238,342 stars on the source repository.
What this skill does
Eval Harness Skill Claude Code oturumları için eval-driven development (EDD) ilkelerini uygulayan formal değerlendirme çerçevesi. Ne Zaman Aktifleştirmeli AI destekli iş akışları için eval-driven development (EDD) kurarken Claude Code görev tamamlama için geçti/kaldı kriterleri tanımlarken pass@k metrikleriyle agent güvenilirliğini ölçerken Prompt veya agent değişiklikleri için regresyon test paketleri oluştururken Model versiyonları arasında agent performansını benchmark ederken Felsefe Eval-Driven Development, eval'ları "AI geliştirmenin birim testleri" olarak ele alır: İmplementasyondan ÖNCE beklenen davranışı tanımla Geliştirme sırasında eval'ları sürekli çalıştır Her değişiklikle regresyonları izle Güvenilirlik ölçümü için pass@k metriklerini kullan Eval Tipleri Capability Eval'ları Claude'un daha önce yapamadığı bir şeyi yapıp yapamadığını test et: Regression Eval'ları Değişikliklerin mevcut fonksiyonaliteyi bozmadığından emin ol: Grader Tipleri 1. Code-Based Grader Kod kullanarak deterministik kontroller: 2. Model-Based Grader Açık uçlu çıktıları değerlendirmek için Claude kullan: 3. Human Grader Manuel inceleme için işaretle: Metrikler pass@k "k denemede en az bir başarı" pass@1: İlk deneme başarı oranı pass@3: 3 denemede başarı Tipik hedef: pass@3 > %90 pass^k "Tüm k denemeler başarılı" Güvenilirlik için daha yüksek çıta pass^3: Ardışık 3 başarı Kritik yollar için kullan Eval İş Akışı 1. Tanımla (Kodlamadan Önce) 2. Uygula Tanımlanan eval'ları geçmek için kod yaz. 3. Değerlendir 4. Rapor Entegrasyon Kalıpları İmplementasyondan Önce .claude/evals/feature-name.md konumunda eval tanım dosyası oluşturur İmplementasyon Sırasında Mevcut eval'ları çalıştırır ve durumu raporlar İmplementasyondan Sonra Tam eval raporu oluşturur Eval Depolama Eval'ları projede sakla: En İyi Uygulamalar 1. Kodlamadan ÖNCE eval'ları tanımla - Başarı kriterleri hakkında net düşünmeyi zorlar 2. Eval'ları sık çalıştır - Regresyonları erken yakala 3. …
How to use it
Reference it in AdaL, Claude Code, Cursor or any coding agent — nothing to install:
@skills affaan-m/eval-harness--4b6792