Agent skill · data analytics · affaan-m
agent-eval
カスタムタスクでコーディングエージェント（Claude Code、Aider、Codex など）をヘッドツーヘッドで比較し、合格率、コスト、時間、一貫性のメトリクスを測定します
Why this skill is useful
Provides a structured way to evaluate and compare coding agents using specific metrics and YAML task definitions that the AI wouldn't generate on its own.
What it needs
Requires bash, glob, grep installed locally. About 1k tokens when loaded. Last updated 2026-08-06. 238,342 stars on the source repository.
What this skill does
エージェント評価スキル 再現可能なタスクでコーディングエージェントをヘッドツーヘッドで比較するための軽量 CLI ツールです。「どのコーディングエージェントが最適か？」という比較はすべて感覚に頼りがちです — このツールはそれを体系化します。 起動タイミング 自分のコードベースでコーディングエージェント（Claude Code、Aider、Codex など）を比較する 新しいツールやモデルを採用する前にエージェントパフォーマンスを測定する エージェントがモデルやツールを更新した際にリグレッションチェックを実行する チームにデータに基づいたエージェント選択の判断を提供する インストール 注意: agent-eval はソースを確認した後、リポジトリからインストールしてください。 コアコンセプト YAML タスク定義 タスクを宣言的に定義します。各タスクは何をするか、どのファイルを操作するか、成功をどう判定するかを指定します： Git ワークツリー分離 各エージェント実行は独自の git ワークツリーを取得します — Docker 不要。これにより再現性の分離が提供され、エージェントが互いに干渉したりベースリポジトリを破壊したりしません。 収集メトリクス メトリクス 測定内容 -------- ----------------- 合格率 エージェントはジャッジをパスするコードを生成できたか？ コスト タスクあたりの API 費用（利用可能な場合） 時間 完了までのウォールクロック秒数 一貫性 繰り返し実行での合格率（例：3/3 = 100%） ワークフロー 1. タスクの定義 タスクごとに 1 つの YAML ファイルを持つ tasks/ ディレクトリを作成します： 2. エージェントの実行 タスクに対してエージェントを実行します： 各実行： 1. 指定されたコミットから新しい git ワークツリーを作成 2. エージェントにプロンプトを渡す 3. ジャッジ基準を実行 4. 合格・不合格、コスト、時間を記録 3. 結果の比較 比較レポートを生成します： ジャッジタイプ コードベース（決定論的） パターンベース モデルベース（LLM-as-judge） ベストプラクティス 3〜5 タスクから始める — おもちゃの例ではなく、実際のワークロードを代表するタスク エージェントごとに少なくとも 3 試行実行する — エージェントは非決定論的なので分散を把握する タスク YAML でコミットを固定する — 日や週をまたいで結果が再現可能になる タスクごとに少なくとも 1 つの決定論的ジャッジを含める（テスト、ビルド）— LLM ジャッジはノイズを加える 合格率と一緒にコストを追跡する — 10 倍のコストで 95% のエージェントが正しい選択でない場合もある タスク定義をバージョン管理する — それらはテストフィクスチャであり、コードとして扱う リンク リポジトリ: github.com/joaquinhuigomez/agent-eval
How to use it
Reference it in AdaL, Claude Code, Cursor or any coding agent — nothing to install:
@skills affaan-m/agent-eval