AgentHarm・AgentHazardで読むAIエージェントの危険な失敗：ツール権限と禁止事項をどう設計するか
AgentHarm、AgentHazard、GPT-5.6 System Card、OWASP Top 10 for LLM Applicationsから、AIエージェントの危険行動を防ぐ権限設計を整理します。
公開 2026.06.27 / 更新 2026.06.30
この記事のポイント
- AgentHarm / AgentHazardは有害なエージェント行動やcomputer-use agentの危険を読む材料
- 記事では攻撃手順ではなく、拒否境界、権限設計、人間確認へ翻訳する
- AGENTS.mdやMCP設定には外部送信、秘密情報、本番反映、破壊的操作の禁止を明記する
結論：エージェント安全性は権限と連鎖で考える
AIエージェントはチャットボットより危険行動を評価しにくい存在です。個々のステップは正当に見えても、外部送信、ファイル操作、権限変更、繰り返し実行、管理画面操作がつながると、全体として危険になります。
| リスク | 起きること | 防ぐ設計 |
|---|---|---|
| 外部送信 | 秘密情報やログを送る | 送信先制限、人間確認 |
| ファイル操作 | 重要ファイル削除 | 対象ディレクトリ制限、git status |
| 権限変更 | GitHub ActionsやMCP権限が広がる | 権限差分レビュー |
| 繰り返し実行 | rate limitや課金増加 | budget、回数制限 |
| 管理画面操作 | 設定変更・公開事故 | 手順作成だけ、実操作は人間 |
AGENTS.mdに入れる安全境界の例
## Agent safety boundaries
- Do not expose secrets, API keys, tokens, cookies, or private keys.
- Do not perform production deploys, database migrations, billing changes, or destructive actions without explicit human approval.
- Do not use AI for exploit steps, bypass instructions, jailbreak steps, or live-target guidance.
- Keep security work defensive: review, patch suggestion, test planning, and permission analysis.
- Report what was checked, what remains unverified, and what requires human confirmation.Agent safety FAQ
AgentHarmとAgentHazardは何が違いますか？
どちらも安全評価の文脈ですが、AgentHarmは有害なエージェント行動、AgentHazardはcomputer-use agentの危険行動を読む材料として扱います。
危険な事例を記事でどこまで書いてよいですか？
評価の目的、リスク分類、防御策までに留めます。攻撃手順、回避方法、実システムへの再現手順は書きません。
関連記事
- Codexのフルアクセスは危険？許可していい作業・止めるべき作業
Codexのフルアクセスは、何でも任せてよい設定ではありません。許可してよい作業、止めるべき作業、.envやAPIキーの扱いを先に分けておくための安全ガイドです。
- AIエージェントに任せてはいけない作業｜個人開発で事故らない判断基準
AIエージェントは便利ですが、すべてを任せるものではありません。個人開発では、手を動かす作業と責任ある判断を分けることが大事です。
- AGENTS.mdとは？Codex・Copilot code reviewにプロジェクトルールを伝える基本
AGENTS.mdとは、CodexのようなAIエージェントにプロジェクトの作業ルールを伝えるための指示ファイルです。毎回チャットで説明するより、運用が安定します。
- MCPとは？AIエージェントに外部ツールをつなぐ仕組みと注意点
MCPとは、AIエージェントに外部ツールやデータソースへの窓口を持たせる仕組みです。便利になるほど、渡す権限の設計が重要になります。