OpenAI GPT-Red、自動レッドチームで安全運用を再設計

OpenAI は米国時間 2026年7月15日、自動レッドチーミングモデル GPT-Red を発表した。GPT-Red は一般ユーザーや API に提供される製品ではない。OpenAI が内部で使う攻撃側モデルで、プロンプトインジェクションのような失敗例を大量に探し、それを生産モデルの訓練に戻して耐性を上げるための仕組みである。

日本企業にとって重要なのは、「OpenAI が新しい安全研究を出した」という話にとどまらない点だ。ChatGPT、Codex、Connectors、ブラウザ、ローカルファイル、社内アプリ連携が広がるほど、AI は第三者の文書や Web ページ、メール、リポジトリ、ツール出力を読む。そこに悪意ある指示が混ざれば、AI が本来の利用者指示より外部データ内の命令を優先してしまう可能性がある。これは以前扱った GPT-5.6一般提供 や OpenAI安全要約 と同じく、モデル性能ではなく運用統制のニュースとして読むべきだ。

以下では、まず発表内容を事実として整理し、そのうえで日本の開発チーム、情シス、AI CoE、セキュリティ担当が GPT-Red をどう読むべきかを分けて考える。

事実: GPT-Redは攻撃モデルを公開する話ではない

OpenAI の発表によると、GPT-Red は自動化された安全レッドチーミングモデルである。目的は、モデルやエージェントが実世界のタスクで触れる外部データに埋め込まれた攻撃を見つけ、次のモデル訓練で耐性を高めることだ。発表では、メール、Web ページ、ツール応答、コードリポジトリ、ローカルファイルのような場所に悪意ある指示が入り得ると説明されている。

重要なのは、GPT-Red 自体を利用者に配るわけではないことだ。OpenAI は、GPT-Red をデプロイ済みモデルとは分離し、攻撃能力を外部に出さない設計を取るとしている。つまり利用者が直接得るのは「攻撃ツール」ではなく、GPT-Red が見つけた攻撃で鍛えられた、より堅牢な生産モデルである。

OpenAI はこの仕組みを GPT-5.6 の強化に使ったと説明している。発表では、GPT-Red の攻撃を使った adversarial training により、GPT-5.6 Sol がプロンプトインジェクションに対して同社の過去モデルより強くなったとされる。ここは GPT-5.6一般提供 とつながる。GPT-5.6 は単に賢くなったモデルではなく、Codex、Responses API、ツール実行、接続アプリを前提にした安全性評価も同時に問われるモデルだからだ。

ただし、この発表を「プロンプトインジェクション問題が解決した」と読むのは危険である。OpenAI の GPT-5.6 System Card でも、コネクタ経由の既知プロンプトインジェクション攻撃に対する評価が説明されているが、評価はあくまで特定の攻撃群と条件に対するものだ。企業側は、モデル提供者の改善と、自社アプリ側の権限設計、監査、出力検証を分けて扱う必要がある。

何が新しいのか

GPT-Red の新しさは、単に「AI が AI を攻撃する」ことではない。人間のレッドチームだけでは、攻撃パターンの量と多様性に限界がある。OpenAI は、GPT-Red を self-play reinforcement learning で訓練し、攻撃側モデルと防御側モデルを同時に鍛える形を説明している。攻撃側は失敗を引き出すほど報酬を得る。防御側は本来のタスクをこなしながら攻撃に抵抗するほど評価される。

この設計は、企業の AI エージェント運用にも示唆がある。これまで多くの PoC では、「危なそうなプロンプトを人間が何十個か試す」程度で安全確認が終わりがちだった。しかし実際の業務エージェントは、社外サイト、顧客メール、チケット本文、README、ログ、Excel、PDF、SaaS のコメント欄など、攻撃者が一部を書き込めるデータを読む。人間が手作業で十分なパターンを網羅するのは難しい。

OpenAI の発表では、GPT-Red がオフィス内の自律型販売機エージェントを攻撃する事例や、Codex CLI エージェントに対するデータ持ち出しシナリオも紹介されている。ここで見るべきなのは派手な攻撃デモではなく、攻撃が「会話」だけで終わらず、価格変更、注文、キャンセル、ファイルや秘密情報の扱いといったツール実行へ波及する点だ。これは OpenAI Codex Security や OpenAI Daybreak で見た、AI がセキュリティ作業の実行面へ入る流れと表裏一体である。

日本企業が誤解しやすい点

第一に、モデルが強くなればアプリ側の対策が不要になる、という誤解である。OWASP の LLM Top 10 でも、プロンプトインジェクションは主要リスクとして扱われている。これはモデルだけの問題ではなく、信頼できない入力をどの権限で読み、どの操作を許し、出力をどこへ流すかというアプリケーション設計の問題でもある。

たとえば、社内ドキュメント検索だけなら影響は回答の誤りに近いかもしれない。しかし、エージェントが Jira のステータスを変える、GitHub に PR を出す、クラウド設定を読む、顧客メールを作る、請求データを集計する場合は違う。外部データ内の悪意ある指示が、操作権限を持つ AI に届く。モデルが堅牢になっても、最小権限、承認、サンドボックス、監査ログ、出力検証は必要である。

第二に、レッドチーミングを一度きりのリリース判定にしてしまう誤解である。GPT-Red の発表が示すのは、攻撃側も防御側も継続的に変わるという現実だ。新しいコネクタ、新しいファイル形式、新しい業務アプリ、新しいモデルが入るたびに攻撃面は変わる。日本企業の AI CoE は、導入前の審査だけでなく、定期的な再評価、インシデント時の再現テスト、ログからの攻撃パターン抽出まで運用に入れたほうがよい。

第三に、AI 安全を倫理や高リスク会話だけの話に閉じる誤解である。OpenAI安全要約 は会話文脈の安全を扱っていたが、GPT-Red は外部データとツール実行の安全を扱う。どちらも「モデルが何を覚え、何を信じ、何を実行するか」を管理する話であり、情シス、セキュリティ、法務、業務部門が分担して見る必要がある。

実務で確認するべき4項目

1つ目は、信頼できない入力の棚卸しである。AI が読む入力を、ユーザー入力、社内管理データ、社外データ、第三者が書き込めるデータに分ける。Web ページ、メール本文、Slack や Teams の投稿、GitHub Issue、依存パッケージの README、ログ、CSV、PDF コメント欄などは、内容が自然文でも実行指示として扱われ得る。

2つ目は、ツール権限の分離である。読むだけの検索、下書き生成、PR 作成、設定変更、外部送信、削除、決済、個人情報処理を同じ権限で持たせない。AI エージェントには、作業ごとに許可するツールを分け、危険な操作は人間承認を必須にする。特に Codex や業務アプリ連携では、ローカルファイル、リポジトリ、CI/CD、クラウド認証情報の境界を明文化すべきである。

3つ目は、自社向け評価セットの作成である。OpenAI の GPT-Red は内部モデルなので、日本企業がそのまま使えるわけではない。それでも考え方は使える。自社の業務データ形式に合わせ、悪意ある指示をメール、チケット、README、CSV、PDF、ログに埋めたテストケースを作る。エージェントが本来のユーザー指示を守るか、余計な外部送信をしないか、承認前に止まるかを見る。

4つ目は、失敗時の扱いである。プロンプトインジェクション対策は、失敗をゼロにする宣言より、失敗時の被害範囲を小さくする設計が重要だ。権限を狭くし、実行前レビューを置き、監査ログを残し、機密データを前処理で削り、出力先を制限する。モデルのロバスト性向上は重要だが、企業運用ではそれを最後の防衛線にしてはいけない。

今回の結論

GPT-Red は、OpenAI がプロンプトインジェクション対策を「個別の拒否ルール」から「攻撃を自動生成し、次のモデルを鍛える継続的な仕組み」へ進めていることを示す発表である。これは日本企業にとって前向きなニュースだ。AI エージェントが外部データや業務ツールに触れるほど、モデル提供者側の堅牢化は欠かせない。

一方で、企業側の読み方は冷静でよい。GPT-Red は社内で使える新ツールではなく、OpenAI のモデル訓練と評価の一部である。自社でやるべきことは、AI エージェントが読む入力、使うツール、持つ権限、止まる条件、ログの残し方を設計することだ。モデルの安全性が進むほど、利用企業側にも「どこまで任せるか」を説明する責任が増える。

出典

• GPT-Red: Unlocking Self-Improvement for Robustness - OpenAI, 2026年7月15日
• GPT-5.6 System Card - OpenAI Deployment Safety Hub, 2026年7月9日
• OWASP Top 10 for Large Language Model Applications - OWASP Foundation
• How Vulnerable Are AI Agents to Indirect Prompt Injections? - arXiv, 2026年3月16日