claude plugin evalとは、プラグインを採点するコマンドのことです。
社内で作ったAIの業務手順が「先月は動いたのに今月はおかしい」と言われたとき、何をもって正常と判断していますか。Claude Codeのv2.1.269以降で使えるclaude plugin evalは、この問いに数字で答えるためのコマンドです。テスト用の依頼文を1ケースにつきプラグインありで3回、プラグインなしで3回、合計6回走らせ、合否の割合と「プラグインがどれだけ点数を押し上げたか」を表にして返します。本記事は、EC支援19年・5,000社超の実績を持ち、AI導入支援は2023年から提供する株式会社オルセル(うるチカラ運営)の現場知見にもとづき、楽天市場やAmazonの運営で使う社内AIプラグインに評価スイートを入れる5つの手順と、ケース作りに使えるプロンプト4本を解説します。
社内AIの「なんとなく動いている」をやめる理由
EC事業者がプラグインの評価を始めるべき理由は、AIの出力品質が、モデルの更新とプラグインの修正という2つの要因で、気づかないうちに変わるからです。公式ドキュメントも、evalsの用途として「プラグインがどの程度確実に正しい結果に導くかの測定」「プラグインの変更や新モデルのリリース時の回帰の検出」「プラグインなしと比べた貢献の確認」の3つを挙げています。
ここでいうプラグインとは、Claude Codeのスキル、フック、MCPサーバー(外部システムとつなぐ接続口)などをひとまとめにして配る仕組みのことです。うるチカラではClaude Codeのプラグインを社内の業務パッケージとして配る方法を解説しましたが、配ったあとに品質を保つ仕組みがなければ、担当者ごとの感想でしか良し悪しを判断できません。
現場で繰り返し見るのは、商品説明文の生成スキルや楽天R-Mailの下書きスキルを作った担当者が異動し、残されたプラグインを誰も直せなくなるパターンです。スキルの説明文を少し書き換えただけで、Claudeがそのスキルを呼ばなくなることもあります。claude plugin evalは、こうした変化を「Δがプラスからゼロに落ちた」という1つの数字で見えるようにします。
評価の基本単位は「ケース」です。1ケースは、利用者が実際に入力しそうな依頼文と、結果を合否判定する1つ以上の「グレーダー」でできています。各回の点数は合格したグレーダーの割合(重みを付ければ重み付きの割合)、ケースの点数は複数回の平均です。ケースの点数が--threshold(初期値は1.0)以上なら合格となります。AIの出力は毎回少しずつ違うため、1回だけの実行ではほとんど情報が得られない、というのがドキュメントの立場で、初期設定では各ケースを3回ずつ実行します。
WITH・W/OUT・Δの読み方
実行結果の要点は、WITH(プラグインあり)、W/OUT(プラグインなし)、Δ(その差)の3つの数字に集約されます。公式ドキュメントのサンプルでは、あるケースのWITHが1.00、W/OUTが0.33、Δが+0.67、実行回数6回、推定費用0.41米ドル、所要74秒と表示されていました。
Δが大事なのは、プラグインがなくてもClaudeが同じくらい上手にこなせる場合があるからです。プラグインありで満点でも、なしでも満点なら、そのプラグインは合格の理由になっていません。EC業務に置き換えると、「楽天の商品名を考えて」という依頼に対して、自社のスキルを入れても入れなくても結果が同じなら、そのスキルの中身を見直す余地があるということです。逆にΔがマイナスのケースは、プラグインがかえって成績を下げている回帰の印で、HTMLレポートでは赤い縁取りで目立つように表示されます。
ドキュメントが「最初によくある発見」として挙げているのが、スキルが呼ばれたかを確かめるtool_used: Skillのグレーダーが不合格で、Δがほぼゼロというパターンです。これは、利用者の自然な言い回しではClaudeがそのスキルを選んでいない、という意味です。対処はスキルのdescription(いつ使うかを書いた説明文)を直して再実行すること。EC担当者が「楽天の商品ページを直して」と書くのか「RMSの説明文を整えて」と書くのかで呼ばれ方が変わるので、社内でよく使われる言い回しでケースを作るのが近道です。
結果は、評価用ディレクトリのresults/<日時>/に、aggregate-result.jsonとreport.htmlとして保存されます。JSONはschemaVersion: 1の版付き形式で、スイート全体の平均点(aggregates.overallScore)、合格ケース数、平均Δ(aggregates.meanDelta)などを読み取れます。HTMLレポートは外部通信をしない1枚完結のファイルで、claude.aiのサブスクリプションでサインインしている場合は非公開のアーティファクトとして公開され、URLが表示されます。社外に出したくない場合は--no-publishでローカルに残せます。
グレーダーは6種類で、独自コードを書くタイプはありません。返信やファイルの中身を正規表現で調べるregex、特定のツールが呼ばれた回数を数えるtool_used、ツールの呼び出し順を確かめるtool_order、ファイルが作られたかを見るfile_existsの4つは、ログとファイルから計算するので追加費用がかかりません。別のモデルにルーブリック(合否の基準文)で判定させるllmと、参照用の会話記録と比べるbaselineの2つは、判定のたびにモデルを呼ぶので費用が増えます。llmは3回の判定のうち2回以上で合格票が出れば合格です。
社内AIプラグインに評価スイートを入れる5手順とプロンプト4本
結論として、EC事業者が最初にやるべきことは、よく使う業務プラグイン1つに3〜5ケースの小さなスイートを作り、毎回ではなく「プラグインを直したとき」と「新しいモデルが出たとき」に回す運用です。以下の5手順で進めます。プロンプトはChatGPT、Claude、Geminiのどれでも使えるように書いてあり、中括弧の部分を自社の情報に置き換えて使います。
手順1は、評価するプラグインと業務を1つに絞ることです。おすすめは、出力のルールがはっきりしている業務です。楽天R-Mailの下書き、商品名の生成、レビュー返信の下書きなどは、守るべき規約や文字数があるので合否を決めやすくなります。
手順2は、ケースの候補を洗い出すことです。プラグインのルートでclaude plugin eval initを実行すると、Claudeがプラグインを読み、良い結果とは何かを質問しながらケースとグレーダーを提案し、1回試してからファイルを作ってくれます。その前に、社内でどんな依頼文が来るかを整理しておくと、質問に答えやすくなります。スキルを「呼ぶべき依頼」だけでなく「呼ぶべきでない依頼」も入れるのがポイントです。
プロンプト1:評価ケース候補の洗い出し
あなたはEC運営チームのAI品質管理担当です。
社内で使っているAIスキル「{スキル名}」の評価ケースを作るため、依頼文の候補を出してください。
スキルの役割:{例:楽天R-Mailの件名と本文の下書きを作る}
主な利用者:{例:楽天店舗の販促担当2名、アルバイト1名}
よく来る依頼の例:{実際の依頼文を2〜3個}
出力してほしいもの:
1. スキルを呼ぶべき依頼文を5個(言い回しを変えて。丁寧な依頼、短いメモ書き、略語まじりなど)
2. スキルを呼ぶべきでない依頼文を3個(似ているが別の業務のもの)
3. それぞれの依頼文で「良い結果」と言える条件を1文
4. 判定が難しそうな依頼文があれば、その理由
条件:依頼文は実際の担当者が入力しそうな日本語にすること。スキル名をそのまま書いた依頼文は作らないこと。
手順3は、グレーダーを「結果」と「過程」の2本立てにすることです。ドキュメントは、各ケースに最終メッセージや生成ファイルなど結果を見るグレーダーを1つ、tool_usedやtool_orderなど手順を見るグレーダーを1つ付けると、答えの正しさとプラグインが効いたかの両方が分かると勧めています。結果側の判定にはllmグレーダーのルーブリックを使います。ルーブリックは「PASSの条件」「FAILの条件」を具体的に書くほど判定が安定します。
プロンプト2:llmグレーダー用ルーブリックの作成
あなたはAIの出力を採点する基準を作る専門家です。
次の業務について、別のAIが合否を判定するためのルーブリックを作ってください。
業務:{例:楽天R-Mailの件名と本文の下書き}
守るべきルール:
- {例:件名は全角30字以内}
- {例:本文に楽天市場外のURL(自社サイト、LINE、Instagramなど)を入れない}
- {例:最上級表現や効能を断定する表現を使わない}
- {例:配信対象のセグメント(購入回数・最終購入日)が本文の内容と合っている}
出力フォーマット:
PASS if(合格の条件を2〜4行)
FAIL if(不合格の条件を2〜4行)
条件:
- 1つの条件には1つの判断だけを書く
- 「自然な文章」「魅力的」のような主観的な言葉は使わない
- 文字数や禁止語のように機械的に確かめられる条件は、別途正規表現で判定するので、ここには入れない
機械的に確かめられる条件は、費用のかからないregexグレーダーに回します。楽天R-Mail本文に楽天市場外のURLを入れないというルールは、match: not_containsで外部ドメインが「含まれないこと」を確かめるのが確実です。正規表現はJavaScript形式で、大文字小文字を区別しない場合はflags: iを使います((?i)の書き方は使えません)。
プロンプト3:禁止表現・禁止URLを検出する正規表現の作成
あなたは正規表現に詳しいエンジニアです。
AIが作った文章に、次のものが含まれていないかを確かめる正規表現を、JavaScriptの正規表現として作ってください。
検出したいもの:
1. 楽天市場以外のドメインへのURL({例:自社ドメイン、line.me、instagram.com、x.com、youtube.com})
2. 景品表示法・薬機法で問題になりやすい表現({例:最高、No.1、即効、治る、必ず痩せる})
3. 電話番号やメールアドレスの記載
出力してほしいもの:
- それぞれの正規表現(1行ずつ)
- 誤検出しやすい例と、その回避方法
- 大文字小文字を区別しない場合は、パターン内ではなくフラグで指定すること((?i)は使わない)
手順4は、外部システムに触れない形で実行することです。各実行は一時的なホームディレクトリと作業ディレクトリで始まり、個人の設定、CLAUDE.md、MCPサーバー、メモリは読み込まれません。読み取り系のツール以外(Bash、Write、Edit、WebFetchなど)は--allow-toolsで明示的に許可しない限り使えません。受注管理や在庫システムにつながるプラグインなら、evals/mocks/<サーバー名>/<ツール名>.mdにモック(本物の代わりに決まった答えを返す偽の窓口)を置けば、本番データに触れずに評価できます。モックのexpect:に入力の型を書いておくと、AIがおかしな値を送った時点で、その実行を0点で止められます。
手順5は、レポートを読んで直し、合格ラインを決めることです。1ケースだけを素早く試すときはclaude plugin eval . --case <ケース名> --runs 1 --ablation noneのように実行回数と比較を省けますが、1回の結果はぶれが大きいので、信頼する前に初期値の3回で確かめ直すのが原則です。
プロンプト4:評価レポートの読み解きと改善案
あなたはEC運営チームのAI品質管理担当です。
以下は社内AIプラグインの評価結果の要約です。
結果:
{ケース名/WITH/W/OUT/Δ/不合格だったグレーダー名と理由}
次の4点を出してください。
1. Δがゼロ付近またはマイナスのケースと、考えられる原因(スキルが呼ばれていない、ルーブリックが厳しすぎる、プラグインの指示が古い、など)
2. スキルのdescription(いつ使うかの説明文)を直すべきか、プラグイン本体を直すべきか、ルーブリックを直すべきかの判断
3. 次回の評価で追加すべきケースを2つ
4. 社内向けに共有する3行の要約
条件:結果にない数字は作らないこと。原因が特定できない場合は「追加の確認が必要」と書くこと。
失敗例と回避策
失敗の多くは、評価そのものの設計ミスから起きます。
1つ目の失敗は、llmグレーダーに長い出力を丸ごと判定させるケースです。ドキュメントも、読むテキストが長いほど判定が実行ごとにぶれやすいと注意しています。商品説明文のように長い出力は、文字数や禁止語をregexで確かめ、llmは件名や見出しのような短い出力に絞るのが回避策です。スキルが呼ばれているのにΔがマイナスなら、プラグインより先に判定役を疑い、--judge-model sonnetで判定モデルを変えて再実行します。
2つ目の失敗は、合格ラインを初期値の1.0のまま運用し、少しでも満点を割るとコマンドが失敗扱いになって、誰も結果を見なくなるケースです。CIで回す場合のドキュメント例では--threshold 0.8が使われています。最初は0.8前後から始め、ケースが安定してきたら引き上げる、という段階的な決め方が現実的です。
3つ目の失敗は、費用を見ずに回すことです。すべての評価実行と判定は自分のプランの使用量またはAPI請求に計上されます。おおよそ「ケース数×実行回数」のエージェント実行がプラグインありとなしで2倍、さらにllmやbaselineのグレーダーごとに1回あたり3回の短い判定が加わります。--max-cost-usdで上限を決め、比較が要らない調整中は--ablation noneで実行数を半分にするのが定石です。
KPI設計と費用・工数の目安
KPIは、スイート全体の平均点、平均Δ、合格ケース数の3つを、プラグインの更新ごとに記録する形が扱いやすいでしょう。aggregate-result.jsonのaggregates.overallScore、aggregates.meanDelta、aggregates.casesPassedをそのまま表計算ソフトに貼れば、推移を追えます。コスト上限で途中終了した実行はpartial: trueになるので、推移のグラフからは外します。
費用は、ケース数・実行回数・判定の数で決まります。公式ドキュメントのサンプルでは1ケース6回の実行で0.41米ドルと表示されていましたが、これはモデルとケース内容で大きく変わる定価ベースの見積もりです。5ケースを初期設定で回すなら、まず--max-cost-usd 5程度の上限を置いて実額を確かめ、そのうえで予算を決めるのが安全です(金額は2026年11月時点の目安で、要確認)。
工数の目安は、claude plugin eval initでの初回スイート作成に1〜2時間、レポートを読んでスキルの説明文やルーブリックを直す作業に1回30分〜1時間ほどです。ドキュメントも最初によくある発見として「スキルが呼ばれていなかった」ケースを挙げています。店舗運営の現場感覚でも、AIの使い勝手への不満の多くは「頼んだのに思った手順で動かない」というもので、スキルの説明文を直すだけで解消する余地は大きいと見ています。
運用の頻度は、毎日回す必要はありません。プラグインの中身を変えたとき、Claudeの新モデルが出たとき、楽天市場やAmazonの規約・仕様が変わってスキルを直したときの3つのタイミングで回せば十分です。CIで自動化する場合は、--trust-plugin、--json、--modelと--judge-modelの固定、--no-publish、--max-cost-usdをそろえるのがドキュメントの推奨です。終了コードは0が合格、1が閾値割れやエラー、2が費用上限などによる途中終了です。
今後の展望と独自考察
AIエージェントを業務に組み込む企業が増えるほど、「動くこと」より「動き続けること」を示す仕組みの価値が上がります。EC事業者にとってclaude plugin evalの意味は、社内AIを担当者個人の工夫から、引き継げる資産に変えられる点にあります。合格基準がファイルとして残れば、担当者が変わっても同じ物差しで品質を確かめられます。
この考え方は、Agent Skillsの65.7%が知識ではなく手順だという分析ともつながります。手順型のスキルは、守るべきルールが明文化されている分、評価ケースに落としやすいのです。楽天R-Mailの外部リンク禁止や、Amazonの商品紹介コンテンツ(A+)での外部URLの扱いのような規約は、正規表現のグレーダーでほぼ機械的に確かめられます。
注意点もあります。ドキュメントは、評価に合格したことはプラグインが安全であることを意味しないと明記しています。自分で書いていないフックを含むプラグインや、本物のMCPサーバーを起動する評価は、コンテナなどの隔離環境で回すべきです。社外から入手したプラグインを使う場合は、Agent Skillsマーケットプレイスの比較と審査観点で紹介したような入口の審査とセットで考えるのが筋です。
よくある質問
claude plugin evalは何をするコマンドですか
claude plugin evalとは、Claude Codeのプラグインをテストケースに対して実行し、結果を採点するコマンドのことです。各ケースをプラグインありとなしで実行し、その差(Δ)でプラグインの貢献を示します。Claude Code v2.1.269以降で使えます。
評価を回すと料金はかかりますか
はい、かかります。評価の実行と、llm・baselineグレーダーの判定は、自分のアカウントでの実際のモデル呼び出しとして、プランの使用量またはAPI請求に計上されます。費用を抑えるには、–max-cost-usdで上限を決め、比較が不要なときは–ablation noneで実行数を半分にします。
プログラミングができなくても評価ケースを作れますか
はい、作れます。プラグインのフォルダでclaude plugin eval initを実行すると、Claudeが質問しながらケースとグレーダーを提案し、ファイルまで作ってくれます。作られたケースは普通のテキストファイルなので、あとから依頼文やルーブリックを書き換えることもできます。
評価中に本番の受注データや在庫データを触ってしまいませんか
いいえ、初期設定のままなら本番システムには触れません。プラグインの本物のMCPサーバーは、明示的に許可しない限り起動されず、モックを置いたツールはファイルに書いた答えを返します。書き込み系のツールも–allow-toolsで許可しない限り使えません。
Δがゼロだったら、そのプラグインは不要ということですか
いいえ、すぐに不要とは言えません。最も多い原因は、利用者の言い回しではスキルが呼ばれていないことで、スキルの説明文を直すと改善する場合があります。説明文を直してもΔが上がらないなら、プラグインの中身がClaudeの標準の能力を上回っていない可能性を検討します。
skill-creatorの評価機能とは何が違いますか
skill-creatorは会話の中で1つのスキルを繰り返し改善するための機能で、独自のevals/evals.json形式を使います。claude plugin evalはプラグイン全体をケースのスイートで評価し、CIでの合否判定まで想定した機能です。ドキュメントによると、どちらも相手のケースファイルは読み込みません。
まとめ
claude plugin evalは、社内AIプラグインの品質をWITH・W/OUT・Δの3つの数字で示すコマンドです。1ケースを初期設定で6回実行し、プラグインが本当に結果を良くしているかを切り分けます。EC事業者は、楽天R-Mailの下書きや商品名生成のようにルールが明確な業務から始め、結果と過程の2本のグレーダー、正規表現による規約チェック、モックによる本番データの保護をそろえると、低い費用で回せます。最初の一歩は、よく使うスキル1つでプロンプト1を使って依頼文の候補を出し、claude plugin eval initに渡すことです。
参考文献
- Claude Code公式ドキュメント「evals でプラグインをテストする」
- Claude Code公式ドキュメント「プラグインを作成する」
- Claude Code公式ドキュメント「サンドボックス」
著者:齋藤竹紘(株式会社オルセル 編集長/5,000社以上のEC支援実績/書籍3冊)
※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談(30分)も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/
【監修】齋藤竹紘(株式会社オルセル代表 / 19年・5,000社のEC支援実績)

株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。