自律コーディングの到達率をどう読むか|ECサイト開発を外注から内製に寄せる判断軸5つ【2026年版】

SWE-bench Verifiedの到達率は汚染が指摘されOpenAIも2026年2月に評価を停止。到達率の正しい読み方と、ECサイト開発を外注から内製に寄せる5つの判断軸、損益分岐試算などプロンプト5本を解説します。

投稿日: カテゴリー EC×AI活用

SWE-bench Verifiedとは、AIのコード修正力を測る試験のことです。

「AIのコーディング到達率が8割を超えたので、サイト改修は社内でAIにやらせればいい」。この1年でよく聞くようになった通説ですが、現場で観測しているのは、到達率の数字と自社の改修成功率がほとんど連動しないという事実です。OpenAIは2026年2月、代表的な指標だったSWE-bench Verifiedの評価をやめると発表しました。本記事は、EC支援19年・5,000社超の実績を持ち、AI導入支援は2023年から提供する株式会社オルセル(うるチカラ運営)の現場知見にもとづき、到達率の正しい読み方と、ECサイト開発を外注から内製へ寄せるかどうかを決める5つの判断軸を整理します。決め手はベンチマークの点数ではなく、決済・在庫連携・保守を含めた損益分岐です。

到達率の数字はなぜ当てにならなくなったのか

SWE-bench Verifiedの到達率は、2026年時点では最先端モデルの実力を測る物差しとして機能しにくくなっています。OpenAIは「Why we no longer evaluate SWE-bench Verified」と題した2026年2月23日の投稿で、問題が学習データに混入する汚染が進んでいることを理由に、この指標での評価をやめると説明しました。

SWE-bench Verifiedは、実在のオープンソースのGitHub課題から人が検証した500問で構成されています。問題とリポジトリが公開されているため、モデルの学習データに答えが入り込みやすいという弱点を抱えていました。OpenAIの評価チームが難度の高い138問(全体の約27.6%)を見直したところ、59.4%でテスト設計や問題文に重大な問題が見つかったとされています。代わりにOpenAIは、より汚染されにくいSWE-bench Proの利用を推奨しています。

つまり、ある時期までの「到達率○%」は、モデルが汎用的にコードを直せる力だけでなく、問題を見たことがあるかどうかも混ざった数字だったわけです。最新モデルの発表では、The Decoderが伝えるGPT-6 AstraのDeepSWE v1.1で74.1%のように、別の評価で数字が示されるようになりました。ただしこれもベンダー自身の測定です。

ベンダーの発表やランキングサイトで到達率を見かけたときは、4つの点を確認すると読み違いが減ります。誰が測ったのか(ベンダー自身か第三者か)、どの評価のどの版か、モデルにどれだけの試行回数や思考時間を与えた設定か、そして比較対象のモデルが同じ条件で測られているかです。同じモデルでも、試行回数を増やした設定と1回きりの設定では数字が大きく変わります。発表資料の注記まで読まずに見出しの数字だけを社内で共有すると、期待値が実態より高く設定されてしまいます。

EC事業者にとっての教訓は2つあります。1つ目は、到達率は「AIがどれくらい賢くなったか」の方向感をつかむ材料であって、自社サイトの改修が何割成功するかの予測値ではないこと。2つ目は、評価そのものが短期間で入れ替わるため、特定の数字を社内の判断基準に固定しないことです。

もう1つ、ベンチマークの課題とECサイトの改修では、問題の性質が根本的に違います。ベンチマークは「既存のテストが通るように1つのリポジトリを直す」課題が中心です。ECサイトの改修は、楽天市場のRMS WEB SERVICEやAmazonのSP-API、ShopifyのAdmin APIといった外部サービスとの連携、決済代行会社の仕様、受注管理システムとの在庫同期など、手元のコードの外側にある条件に左右されます。外部仕様を知らないまま書かれたコードは、テストが通っても本番で動かないことがあります。

ECサイト開発で到達率どおりに進まない理由

ECサイトの改修でAIの成功率が下がるのは、失敗したときの影響が大きい領域ほど、コードの外にある知識が必要になるからです。現場で繰り返し見るのは、テーマのデザイン修正や商品一覧の表示変更はAIでほぼ一発で終わる一方、決済や在庫連携に触れた途端に手戻りが増えるという構図です。

うるチカラでも、コーディングAIの限界を示す調査を紹介してきました。コーディングAIの完全正解は26.4%にとどまったCo-Design Benchの論点や、正しいファイルを開けても修正すべき行を当てる精度は14%だったという調査は、到達率の高さだけでは見えない弱点を示しています。

一方で、AIを使って開発速度を大きく上げた事例もあります。楽天がClaude Codeで開発期間を79%短縮した事例は、十分なレビュー体制と開発プロセスがある組織で、AIが速度を押し上げた例として読むのが妥当です。同じツールを入れても、レビューできる人がいない組織で同じ効果が出るとは限りません。

EC特有の難しさは、主に3つの場面で表れます。1つ目は決済まわりです。決済代行会社の仕様変更や3Dセキュアの認証フローは、ドキュメントの版によって挙動が違い、AIが古い情報をもとにコードを書くことがあります。2つ目は在庫連携です。モールと自社ECで在庫を同期する処理は、タイミングのずれが売り越しに直結します。3つ目はセール対応です。楽天スーパーSALEやお買い物マラソンの開始直後は注文が集中し、平常時には表に出ない処理の遅さが障害になります。

アパレル系の店舗でよく見られるのは、商品詳細ページのレイアウト改修はAIと社内担当者で短期間に終わる一方、同じ店舗の在庫同期処理の改修は、外部仕様を判断できるエンジニアが入るまで止まりがちという差です。違いを生むのはAIの性能ではなく、外部仕様と障害時の影響を判断できる人がいるかどうかです。

外注と内製を分ける5つの判断軸と進め方

外注と内製の判断は、改修の種類、障害時の影響額、社内のレビュー力、保守の継続性、総コストの5軸で行うのが実務的です。到達率はこの5軸のどれにも直接は入りません。

判断軸1は改修の種類です。テーマのデザイン、バナー差し替え、商品ページの表示項目追加、社内向けの集計スクリプトのように、外部連携がなく失敗しても元に戻せる改修は内製向きです。決済、受注、在庫同期、会員情報など外部サービスや個人情報に触れる改修は、外注またはプロのレビュー付きが無難です。

判断軸2は障害時の影響額です。その改修が失敗したとき、1時間あたりいくらの売上が止まるかを見積もります。月商3,000万円の店舗なら、単純平均で1時間あたり約4万円です(30日・24時間で割った概算)。セール中はこの数倍になります。影響額が大きい改修ほど、外注先の保証やテスト体制にお金を払う価値があります。

判断軸3は社内のレビュー力です。AIが書いたコードの良し悪しを判断できる人が社内にいるかどうかです。いない場合、内製化しても品質の最終責任を負えません。最初の一歩としては、外注先にAI活用を前提とした開発を依頼し、社内担当者はレビューの観点を学ぶという中間形が現実的です。

判断軸4は保守の継続性です。AIで作ったコードは、作った本人が退職したり、プロンプトの履歴が残っていなかったりすると、誰も直せなくなります。設計意図と変更履歴をドキュメントとして残す運用が回るかを確認します。

判断軸5は総コストです。外注費と比べるべきなのは、AIツールの費用だけでなく、社内担当者の作業時間、レビュー時間、障害時の対応時間を合計した金額です。仮に外注見積もりが1案件50万円で、内製なら社内工数40時間(時給3,000円換算で12万円)とAIツール費数万円で済むなら、内製の余地は大きいと言えます。ただし障害対応で20時間余計にかかれば差は縮みます。

よくある改修を5軸に当てはめると、おおむね次のような仕分けになります。Shopifyのテーマで商品ページに配送目安の表示を足す、楽天RMSの商品ページに載せるHTMLを整えるといった表示まわりの改修は、外部連携がなく戻すのも簡単なので内製向きです。商品CSVの一括更新や売上集計のスクリプトも、テスト用のデータで動作を確かめてから本番に使えば内製で回せます。モールと自社ECの在庫同期や受注データの取り込みは、障害時の影響が大きいので、外注先にAI活用を前提に開発してもらい社内がレビューする中間型が向いています。決済の金額計算や会員情報の扱いに触れる改修は、外注先の保証とテスト体制を優先するのが無難です。

進め方は、全改修案件をこの5軸で仕分けるところから始めます。以下のプロンプト5本は、ChatGPT・Claude・Geminiのいずれでも使える形にしています。

プロンプト1は、改修案件を内製・外注・中間に仕分ける用途です。

プロンプト1:EC改修案件の内製・外注の仕分け

あなたはEC事業者の開発体制を設計するコンサルタントです。
以下の改修案件を「内製(AI+社内担当)」「中間(外注先がAI活用、社内がレビュー)」「外注」の3つに仕分けてください。

判断軸:
1. 改修の種類(外部サービス連携・決済・個人情報に触れるか)
2. 障害時の影響額(1時間あたりの売上停止額の概算)
3. 社内にレビューできる人がいるか
4. 保守を継続できるか(ドキュメントと担当者)
5. 総コスト(外注費と社内工数・ツール費・障害対応の合計)

店舗情報:月商{月商}、運営モール{モール名}、社内の開発経験者{人数}名
案件一覧:
- {案件名1}:{概要}
- {案件名2}:{概要}
- {案件名3}:{概要}

出力:案件ごとの仕分け結果、判断理由を各2行、判断に必要な追加情報

プロンプト2は、AIが書いたコードをEC特有の観点でレビューするためのチェックリスト作りに使います。

プロンプト2:EC改修コードのレビュー観点リスト作成

あなたはECサイトの品質保証担当です。
以下の改修内容について、AIが生成したコードをレビューする観点リストを作成してください。

改修内容:{改修の概要}
関係するシステム:{カートシステム、決済代行、受注管理、在庫連携など}

条件:
1. 決済、在庫、受注、会員情報への影響を必ず確認項目に含める
2. セール時の注文集中で問題が起きないかの観点を入れる
3. 外部APIの仕様は「公式ドキュメントで要確認」と明記し、推測で書かない
4. 各項目に「確認方法」を1行で添える

出力:番号付きのレビュー観点、優先度(高・中・低)

プロンプト3は、外注する場合の発注仕様書の下書きに使います。

プロンプト3:外注先への発注仕様書の下書き

あなたはEC事業者の発注担当です。
以下の改修を外注するための仕様書を作成してください。

改修の目的:{目的}
現状の課題:{課題}
関係するモール・システム:{モール名、カート、決済、受注管理}

条件:
1. 完了条件をテスト可能な形で書く(例:在庫が0になったら全モールで販売停止になる)
2. 対象外の範囲を明記する
3. 障害時の連絡体制と切り戻し手順の提出を求める
4. AIツールを使う場合は、生成コードのレビュー方法の説明を求める

出力:目的、範囲、完了条件、納品物、スケジュール案、確認事項

プロンプト4は、内製と外注の損益分岐を試算する用途です。

プロンプト4:内製と外注の損益分岐試算

あなたはEC事業者の経営企画担当です。
以下の条件で、改修を内製した場合と外注した場合の総コストを比較してください。

外注見積もり:{金額}円
内製の想定工数:{時間}時間、担当者の時給換算{時給}円
AIツール費用:月{金額}円
レビュー工数:{時間}時間
障害が起きた場合の想定対応時間:{時間}時間、発生確率の仮定{%}
障害時の売上影響:1時間あたり{金額}円

条件:
1. 計算式と途中の数値を示す
2. 障害の期待損失(影響額×確率)を含めて比較する
3. どの数字が変わると結論が逆転するかを示す

出力:総コスト比較、損益分岐点、結論1文

プロンプト5は、内製で改修する前に、切り戻し手順を用意するために使います。

プロンプト5:改修前の切り戻し手順の作成

あなたはECサイトの運用責任者です。
以下の改修を本番に反映する前に、問題が起きたときの切り戻し手順を作成してください。

改修内容:{改修の概要}
反映先:{本番環境、テーマ、アプリ、サーバー}
反映予定日時:{日時}

条件:
1. セール期間や注文が多い時間帯を避けた反映時刻を提案する
2. 反映前に取るバックアップと、その確認方法を書く
3. 切り戻しの判断基準(エラー率、注文数の急減など)を数値で示す
4. 切り戻し後に顧客対応が必要なケースを挙げる

出力:反映前チェック、切り戻し判断基準、切り戻し手順、事後対応

内製化でつまずく失敗例と回避策

1つ目の失敗は、到達率の高さを根拠に、決済まわりの改修をいきなり内製することです。食品ギフトのように包装やのしのオプションが多いジャンルでは、オプション追加に伴う金額計算をAIで改修した結果、特定の組み合わせだけ送料が二重に加算されるといった不具合が起こりやすく、テスト注文の組み合わせが少ないと発見が遅れます。回避策は、金額計算に触れる改修では必ず複数パターンのテスト注文を通し、外部レビューを入れることです。

2つ目の失敗は、AIとの対話履歴を残さないことです。半年後に不具合が出たとき、なぜその実装にしたのかを誰も説明できず、結局作り直しになるケースがあります。回避策は、改修ごとに目的・変更点・確認したテストを1枚のメモに残し、コードと同じ場所で管理することです。

3つ目の失敗は、外注先との関係を切ってから内製に移ることです。内製化を急ぐあまり保守契約を解約すると、障害時に頼れる先がなくなります。回避策は、まず外注先にAI活用を前提とした体制を求め、社内は簡単な改修から段階的に引き取ることです。楽天/Amazonの両方を回している店舗で観測されたのは、この段階的な移行のほうが結果的に早く内製比率が上がるという傾向でした。

4つ目の失敗は、テスト環境を用意せずに本番へ直接反映することです。AIは修正案を素早く出してくれるため、つい本番のテーマやサーバーをその場で書き換えたくなります。しかし、ECサイトは表示が崩れただけでも購入率が落ち、注文処理に影響すれば売上が止まります。回避策は、Shopifyなら非公開のテーマで、自社サーバーなら検証用の環境で動作を確かめてから反映し、プロンプト5で作る切り戻し手順を事前に用意しておくことです。

KPI設計と費用・工数の目安

内製化の進み具合は、内製比率、手戻り率、障害件数の3つで見るのが分かりやすい方法です。

内製比率は、全改修案件のうち社内で完結した割合です。最初の3か月は2〜3割程度を目標に置き、レビュー体制が整うにつれて引き上げるのが無理のない進め方です。手戻り率は、本番反映後に修正が必要になった案件の割合で、内製比率を上げても手戻り率が悪化していないかを同時に確認します。障害件数は、売上に影響した障害の回数と停止時間です。

費用面では、AIコーディングツールは個人向けで月20ドル前後のプランから使えるものが多く、チームで使う場合は1人あたり月数千円から数万円程度を見込んでおくとよいでしょう。料金体系は頻繁に変わるため、契約前に各社の公式ページで確認してください。工数の目安としては、案件の仕分けに半日、レビュー観点リストの整備に1〜2日、最初の内製案件で通常の1.5倍程度の時間を見込んでおくと、計画が崩れにくくなります。

見落とされがちなのが、レビュー担当者を育てる時間です。AIが書いたコードを読んで問題に気づけるようになるまでには、実際の改修案件をいくつか経験する必要があります。現場感覚では、外注先のエンジニアのレビューに同席して観点を学ぶ期間を数か月設けると、その後の内製が安定しやすくなります。この期間の人件費も、内製化の初期投資として計画に入れておいてください。

今後の展望:評価指標が変わっても判断軸は変わらない

AIのコーディング能力を測る評価は、今後も入れ替わり続けると考えられます。SWE-bench Verifiedが汚染で使われなくなったように、新しい評価もいずれ同じ問題に直面する可能性があります。数字が変わるたびに社内方針を変えていては、判断がぶれ続けます。

変わらないのは、ECサイトの改修では外部仕様と障害時の影響を判断できる人が必要だという点です。AIエージェントが自律的に作業する範囲が広がるほど、人が担う役割は「書くこと」から「任せる範囲を決めて結果を確かめること」へ移ります。この役割を担える人を社内に育てることが、内製化の本当の準備です。具体的には、改修の目的と完了条件を言葉で定義できること、テスト注文で何を確かめればよいかを決められること、問題が起きたときに切り戻しの判断を下せることの3つが求められます。どれもプログラミングの腕前より、自社の業務と売上構造を理解していることが土台になる能力です。

もう1つの変化は、外注先の働き方です。AIを使う開発会社が増えれば、外注費そのものが下がる可能性があります。内製か外注かの二択ではなく、AIを使いこなす外注先と、それをレビューできる社内担当者の組み合わせが、多くの中小EC事業者にとって現実的な着地点になるとみています。ベンチマークの読み方全般についてはAIベンチマーク首位を鵜呑みにしない|EC事業者のモデル自社検証7手順も参考にしてください。

よくある質問

SWE-bench Verifiedの到達率が高いAIなら、サイト改修を任せられますか

いいえ、到達率だけでは判断できません。SWE-bench Verifiedは汚染や問題の不備が指摘され、OpenAIも2026年2月に評価をやめているからです。自社の改修では外部連携や障害時の影響が結果を左右するため、代表的な改修案件で実際に試して判断してください。

SWE-bench Proとは何ですか

SWE-bench Proとは、OpenAIがSWE-bench Verifiedに代わって利用を推奨した、汚染されにくいコーディング評価のことです。ただし、どの評価もベンチマーク上の課題で測った結果であり、ECサイトの改修成功率をそのまま示すものではありません。

ECサイト開発はすべて内製に切り替えるべきですか

いいえ、すべてを切り替える必要はありません。デザイン修正や表示項目の追加のように失敗しても戻せる改修から内製化し、決済や在庫連携のように影響が大きい改修は外注やレビュー付きにするのが現実的です。段階的に内製比率を上げてください。

社内にエンジニアがいなくても内製化できますか

はい、簡単な改修であれば可能です。ただし、AIが書いたコードを判断できる人がいない状態で決済や受注に触れる改修を行うのは危険です。最初は外注先にAI活用を前提とした開発を依頼し、社内担当者がレビューの観点を学ぶ形から始めてください。

内製化の費用はどれくらいかかりますか

AIコーディングツール自体は個人向けで月20ドル前後のプランから始められます。実際の費用の大半は社内担当者の作業時間とレビュー時間なので、時給換算で外注費と比べる必要があります。障害時の対応時間も含めて試算してください。

楽天市場やAmazonのAPI連携もAIで作れますか

はい、作ること自体は可能ですが、レビューが欠かせません。RMS WEB SERVICEやSP-APIは仕様の更新があり、AIが古い情報をもとに書く場合があるためです。実装前に公式ドキュメントで最新の仕様を確認し、テスト環境で十分に検証してください。

外注先にAIを使ってもらうメリットはありますか

はい、開発期間の短縮や費用の見直しにつながる可能性があります。発注時には、AIで生成したコードをどうレビューしているか、障害時にどう切り戻すかを説明してもらうと、品質のばらつきを抑えられます。

内製化を始めるのに向いた時期はありますか

はい、セールや繁忙期を避けた閑散期が向いています。最初の内製案件は手戻りが出やすく、注文が集中する時期に障害が起きると影響が大きくなるからです。楽天スーパーSALEや年末商戦の前後1か月は大きな改修を避け、落ち着いた時期に小さな改修から試してください。

まとめ

SWE-bench Verifiedの到達率は、汚染と問題の不備が指摘され、OpenAIも2026年2月に評価をやめた指標です。到達率の数字は方向感をつかむ材料にとどめ、ECサイト開発の外注と内製は、改修の種類、障害時の影響額、社内のレビュー力、保守の継続性、総コストの5軸で判断してください。まずは今ある改修案件を5軸で仕分け、失敗しても戻せる小さな改修から内製を試すのが最初の一歩です。

参考文献


著者:齋藤竹紘(株式会社オルセル 編集長/5,000社以上のEC支援実績/書籍3冊)


※うるチカラでは、生成AIの導入支援から運用最適化まで、貴社のEC事業に合わせたカスタマイズ提案を行っています。無料相談(30分)も実施中ですので、お気軽にお問い合わせください。
https://uruchikara.jp/contact/


【監修】齋藤竹紘(株式会社オルセル代表 / 19年・5,000社のEC支援実績)


投稿者: 齋藤竹紘

株式会社オルセル代表取締役 / うるチカラ編集長。19年・5,000社以上のEC支援実績を持ち、楽天市場・Amazon・Yahoo!ショッピング・Shopify・Shopee越境ECの実装ノウハウを保有。AI×ECに関する書籍を3冊執筆。「現場で使えるAI実装」を一次情報として発信しています。

お問い合わせ