Agent skill · software engineering · affaan-m
eval-harness
克劳德代码会话的正式评估框架，实施评估驱动开发（EDD）原则
Why this skill is useful
Adds a comprehensive evaluation framework with executable scripts for automated testing and performance metrics that enhance AI's capabilities in assessing code changes.
What it needs
Requires bash, grep installed locally. About 2k tokens when loaded. Last updated 2026-08-06. 238,342 stars on the source repository.
What this skill does
Eval Harness 技能 一个用于 Claude Code 会话的正式评估框架，实现了评估驱动开发 (EDD) 原则。 何时激活 为 AI 辅助工作流程设置评估驱动开发 (EDD) 定义 Claude Code 任务完成的标准（通过/失败） 使用 pass@k 指标衡量代理可靠性 为提示或代理变更创建回归测试套件 跨模型版本对代理性能进行基准测试 理念 评估驱动开发将评估视为 "AI 开发的单元测试"： 在实现 之前 定义预期行为 在开发过程中持续运行评估 跟踪每次更改的回归情况 使用 pass@k 指标来衡量可靠性 评估类型 能力评估 测试 Claude 是否能完成之前无法完成的事情： 回归评估 确保更改不会破坏现有功能： 评分器类型 1. 基于代码的评分器 使用代码进行确定性检查： 2. 基于模型的评分器 使用 Claude 来评估开放式输出： 3. 人工评分器 标记为需要手动审查： 指标 pass@k "k 次尝试中至少成功一次" pass@1：首次尝试成功率 pass@3：3 次尝试内成功率 典型目标：pass@3 > 90% pass^k "所有 k 次试验都成功" 更高的可靠性门槛 pass^3：连续 3 次成功 用于关键路径 评估工作流程 1. 定义（编码前） 2. 实现 编写代码以通过已定义的评估。 3. 评估 4. 报告 集成模式 实施前 在 .claude/evals/feature-name.md 处创建评估定义文件 实施过程中 运行当前评估并报告状态 实施后 生成完整的评估报告 评估存储 将评估存储在项目中： 最佳实践 1. 在编码前定义评估 - 强制清晰地思考成功标准 2. 频繁运行评估 - 及早发现回归问题 3. 随时间跟踪 pass@k - 监控可靠性趋势 4. 尽可能使用代码评分器 - 确定性 > 概率性 5. 对安全性进行人工审查 - 永远不要完全自动化安全检查 6. 保持评估快速 - 缓慢的评估不会被运行 7. 评估与代码版本化 - 评估是一等工件 示例：添加身份验证 产品评估 (v1.8) 当单元测试无法单独捕获行为质量时，使用产品评估。 评分器类型 1. 代码评分器（确定性断言） 2. 规则评分器（正则表达式/模式约束） 3. 模型评分器（LLM 作为评判者的评估准则） 4. 人工评分器（针对模糊输出的人工裁定） pass@k 指南 pass@1：直接可靠性 pass@3：受控重试下的实际可靠性 pass^3：稳定性测试（所有 3 次运行必须通过） 推荐阈值： 能力评估：pass@3 >= 0.90 回归评估：对于发布关键路径，pass^3 = 1.00 评估反模式 将提示过度拟合到已知的评估示例 仅测量正常路径输出 在追求通过率时忽略成本和延迟漂移 在发布关卡中允许不稳定的评分器 最小评估工件布局 .claude/evals/<feature>.md 定义 .claude/evals/<feature>.log 运行历史 docs/releases/<version>/eval-summary.md 发布快照
How to use it
Reference it in AdaL, Claude Code, Cursor or any coding agent — nothing to install:
@skills affaan-m/eval-harness--c6a1eb