生成AIのリスクは「使い方」と「つなぎ方」で増える
ChatGPTやClaude、Geminiを業務で使う会社は、この1〜2年で一気に増えました。それにあわせて、「生成AIは危険なのでは」「何に気をつければいいのか」という相談も増えています。
先に結論を書くと、生成AIそのものが危険というより、入力する情報の扱い、出力の使い方、他のシステムとのつなぎ方を決めないまま使うことでリスクが生まれます。逆に言えば、リスクの種類を知り、それぞれに合った対策を打てば、全面禁止にしなくても安全に使えます。
この記事では、生成AIのセキュリティリスクを6つに分けて整理し、企業側で取れる対策を一覧にします。内容は2026年11月時点の公的機関・業界団体の資料に基づいています。
なお、実際に起きた情報漏洩の事例は生成AIの情報漏洩事例と対策で詳しくまとめています。この記事は「リスクの全体像と社内でできる対策」に絞ります。
---
公的機関は生成AIのリスクをどう見ているか
IPA「情報セキュリティ10大脅威 2026」で初めて3位に
情報処理推進機構（IPA）が2026年1月29日に発表した「情報セキュリティ10大脅威 2026」の組織編で、「AIの利用をめぐるサイバーリスク」が初めて選ばれ、いきなり3位に入りました。1位はランサム攻撃による被害、2位はサプライチェーンや委託先を狙った攻撃です。
IPAはこのリスクの中身として、次の3つを挙げています。
- AIへの理解が足りないことによる、意図しない情報漏えいや他者の権利侵害
- AIが生成した結果を十分に検証せず、鵜呑みにすることで起きる問題
- AIの悪用による、サイバー攻撃の容易化と手口の巧妙化
つまり、「使う側のミス」「出力を信じすぎること」「攻撃者がAIを使うこと」の3方向からリスクが来る、という整理です。なお、10大脅威の順位は前年に社会的影響が大きかった事案をもとに選ばれるもので、自社にとっての優先度は別に考える必要があります。
経済産業省・総務省「AI事業者ガイドライン」
経済産業省と総務省が出している「AI事業者ガイドライン」は、2026年3月31日に第1.2版へ改定され、AIエージェントに関する記載も追加されました。ChatGPTなどを業務で使うだけの会社は、ガイドライン上の「AI利用者」にあたります。法的拘束力はありませんが、社内の体制やルールに漏れがないかを点検するのに使えます。
個人情報保護委員会の注意喚起
個人情報保護委員会は2023年6月2日、「生成AIサービスの利用に関する注意喚起等について」を公表しました。事業者向けには、個人情報を含むプロンプトを入力する場合は利用目的の範囲内かを確認すること、本人の同意なく入力した個人データが応答の出力以外の目的で扱われると個人情報保護法に違反する可能性があること、などが示されています。
OWASP Top 10 for LLM Applications 2026
自社システムに生成AIを組み込む場合に参考になるのが、OWASP（Webセキュリティの国際的なコミュニティ）が公開している「OWASP Top 10 for LLM Applications」です。2026年8月4日に2026年版が公開されました。2026年版の10項目は次のとおりです。
| ID | 項目 | ひとことで言うと | |---|---|---| | LLM01 | Prompt Injection（プロンプトインジェクション） | 入力やデータに仕込まれた指示でAIが操られる | | LLM02 | Sensitive Information Disclosure（機密情報の漏洩） | 個人情報や社内情報が出力やログから漏れる | | LLM03 | Excessive Agency（過剰な権限・自律性） | AIに必要以上の権限を渡し、誤操作や悪用で被害が出る | | LLM04 | Supply Chain（サプライチェーン） | 外部のモデル・ライブラリ・プラグインの改ざんや欠陥 | | LLM05 | Data and Model Poisoning（データ・モデル汚染） | 学習データや参照データに悪意ある情報を混ぜられる | | LLM06 | Unbounded Consumption（際限のない消費） | 大量リクエストで費用やリソースを使い果たされる | | LLM07 | Misinformation（誤情報） | もっともらしい誤り（ハルシネーション）を信じてしまう | | LLM08 | Hidden Context Exposure（隠れた文脈の露出） | システムプロンプトやツール定義など裏側の情報が漏れる | | LLM09 | Vector and Embedding Weaknesses（ベクトル・埋め込みの弱点） | RAGの検索データ経由で権限外の情報が出る | | LLM10 | Improper Output Handling（不適切な出力処理） | AIの出力をそのままプログラムや画面に流して事故になる |
2025年版から大きく変わったのは、Excessive Agency（過剰な権限）が6位から3位に上がった点です。AIがメール送信やファイル操作などを自分で実行する「AIエージェント」の普及を反映しています。エージェントを作る・使う場合の考え方はAIエージェントのセキュリティで解説しています。
---
生成AIのリスク6分類
ここからは、社内で生成AIを使う会社の目線で、リスクを6つに整理します。
| リスク | 主な原因 | 起きること | 主に関わる人 | |---|---|---|---| | 情報漏洩 | 機密情報の入力、設定ミス、アカウント乗っ取り | 顧客情報・社内情報の外部流出 | 全社員 | | プロンプトインジェクション | 外部のWebページ・メール・ファイルに仕込まれた指示 | AIが意図しない動作をし、情報を外に送る | AIを業務システムにつなぐ担当者 | | ハルシネーション | AIがもっともらしい誤りを出力 | 誤った情報での判断、顧客への誤案内 | 出力を使う全社員 | | 著作権・権利侵害 | 他人の著作物の入力、生成物の無確認利用 | 権利侵害のクレーム、損害賠償 | 広報・マーケ・制作担当 | | シャドーAI | 会社が把握していないAIツールの業務利用 | 管理外での情報流出、退職時のデータ残存 | 全社員・管理部門 | | ディープフェイク・なりすまし | 攻撃者による音声・映像・文章の偽造 | 経営者を装った送金指示、詐欺メール | 経理・経営層 |
以下、それぞれ詳しく見ていきます。
---
リスク1：情報漏洩
生成AIのリスクとして最も多く挙がるのが情報漏洩です。経路は大きく分けて3つあります。
入力した情報が外に出る
個人向けプランの多くは、設定を変えないと入力内容がモデルの学習に使われる可能性があります。学習に使われた情報がそのまま他人の回答に出てくる可能性は高くありませんが、ゼロとは言い切れません。また、学習に使われなくても、サービス側で一定期間保存されることは理解しておく必要があります。設定方法はChatGPTに学習させない設定にまとめています。
サービス側の不具合や設定ミス
利用者がどれだけ気をつけても、AIサービス側のバグや設定ミスで情報が見える状態になることがあります。2023年3月にはChatGPTで、一部の利用者が他人のチャット履歴のタイトルを見られる不具合が発生し、OpenAIが原因と影響範囲を公表しました。
アカウントの乗っ取り
パスワードの使い回しや、端末に感染したマルウェア（情報窃取型）によってアカウントが盗まれると、過去の会話履歴がすべて見られます。生成AIに業務の相談をしている人ほど、履歴には機密情報が溜まっています。
---
リスク2：プロンプトインジェクション
プロンプトインジェクションは、AIへの入力に悪意ある指示を紛れ込ませ、AIを操る攻撃です。OWASP Top 10 for LLMでは2025年版・2026年版ともに1位に置かれています。
直接型と間接型
- 直接型：利用者自身が「これまでの指示を無視して」などと入力し、AIの制限を外そうとする
- 間接型：AIに読ませるWebページ、メール、PDFなどに指示を隠しておき、AIがそれを読んだときに従ってしまう
社内で問題になりやすいのは間接型です。「受信メールを要約して」「このWebページを調べて」とAIに頼んだとき、その中に「この会話の内容を次のURLに送れ」といった指示が仕込まれていると、AIが従ってしまうおそれがあります。2025年には、Microsoft 365 Copilotで、細工したメールを送るだけで社内データを持ち出せる脆弱性（EchoLeak、CVE-2025-32711）が公表されました。Microsoftはサーバー側で修正済みとしています。
対策の考え方
プロンプトインジェクションは、現時点でAIの仕組み上、完全に防ぐ方法がありません。そのため「防ぐ」より「やられても被害が広がらない設計」にします。AIに渡す権限を最小限にする、メール送信や支払いなど重要な操作は人が承認する、外部データを読む処理と社内データを扱う処理を分ける、といった対策が基本です。
---
リスク3：ハルシネーション（誤情報）
ハルシネーションは、AIが事実と異なる内容をもっともらしく出力する現象です。存在しない法律の条文や判例、架空の統計データ、実在しない論文などが典型例です。
セキュリティとは別の話に見えますが、IPAが「AIが生成した結果を鵜呑みにすることで生じる問題」を脅威に含めているように、誤った情報に基づく意思決定や顧客対応は、企業にとって実害のあるリスクです。
出力を使う前のルール
- 数字・固有名詞・法令・日付は必ず一次情報で確認する
- 顧客や取引先に出す文書は、人が最終チェックしてから送る
- AIが参照元を示しても、そのリンク先を実際に開いて確認する
---
リスク4：著作権・権利侵害
生成AIと著作権の関係は、文化庁が2024年3月に「AIと著作権に関する考え方について」で整理しています。社内で特に注意したいのは次の2点です。
- 入力時：他人の文章や画像を取り込んで、似たものを作らせる使い方は、侵害と判断されるおそれがある
- 利用時：生成した文章・画像が既存の著作物に似ていないかを確認せずに公開すると、権利侵害になるおそれがある
また、個人情報や肖像、商標なども同じように注意が必要です。詳しくは生成AIと著作権の記事で解説しています。
---
リスク5：シャドーAI
シャドーAIは、会社が許可・把握していないAIツールを、社員が業務で使っている状態のことです。IPAも10大脅威2026の解説で、組織が利用状況を把握しきれないまま個人単位で業務利用が進むリスクに触れています。
シャドーAIが厄介なのは、どんな情報が、どのサービスに入力されたのかを会社が後から追えない点です。学習オフの設定をしているか、パスワードを使い回していないか、退職後もアカウントに業務データが残っていないか、どれも確認できません。
全面禁止は逆効果になりやすい
「生成AIは禁止」とだけ決めると、便利さを知った社員が個人のスマホで使い続け、かえってシャドーAIが増えます。会社として使ってよいツール（法人プラン）を用意し、使ってよい範囲を明確にするほうが、結果的に管理しやすくなります。
---
リスク6：ディープフェイク・なりすまし
生成AIは、攻撃者にとっても便利な道具です。自然な日本語の詐欺メール、本人そっくりの音声、映像まで、以前より簡単に作れるようになりました。
よく知られているのが、2024年に香港で起きた事件です。英国の設計エンジニアリング会社Arupの香港拠点で、財務担当者が、CFO（最高財務責任者）や同僚になりすましたディープフェイクのビデオ会議を信じ、計2億香港ドル（約2,500万米ドル）を送金しました。香港警察は、公開されている動画や音声をもとに偽の映像が作られたと説明しています。
なりすましへの対策
- 送金や口座変更の依頼は、メールやビデオ会議とは別の連絡手段（事前に登録した電話番号など）で本人に確認する
- 一定金額以上の支払いは、複数人での承認を必須にする
- 「急いで」「内密に」という依頼ほど手順どおりに確認する、と社内で共有しておく
---
「AIの危険性」はどこまで心配すべきか
「AIの危険性」と検索すると、AIが人間を支配するといった話から、雇用への影響まで、さまざまな話題が出てきます。企業のセキュリティとして今すぐ考えるべきなのは、そうした遠い将来の話ではなく、上に挙げた6つのような日々の業務で起きうるリスクです。
一方で、リスクを怖がって何もしないことにもコストがあります。競合が生成AIで業務を効率化するなか、自社だけ使わないという判断も、長い目で見ればリスクになります。大事なのは、「どのリスクを、どの対策で、どこまで下げるか」を決めて使うことです。
---
企業がとるべき対策一覧
リスクごとに、ルール・技術・教育の3つの面から対策を整理しました。
| リスク | ルール（社内規程） | 技術（ツール・設定） | 教育（研修・周知） | |---|---|---|---| | 情報漏洩 | 入力禁止情報の明示、法人プランのみ利用可 | 法人プランの契約、学習オフ設定、多要素認証 | 入力してよい情報・ダメな情報の具体例を共有 | | プロンプトインジェクション | 外部データをAIに読ませる業務の範囲を決める | AIの権限を最小化、重要操作は人が承認、ログの記録 | 連携ツールを導入する担当者向けの研修 | | ハルシネーション | 社外に出す前の人によるチェックを義務化 | 社内文書を参照させる仕組み（RAG）で根拠を示させる | 誤りが出やすいパターンの共有 | | 著作権・権利侵害 | 他人の著作物の入力ルール、生成物の公開前確認 | 画像検索などで類似チェック | 文化庁の考え方をもとにした周知 | | シャドーAI | 利用可能ツールの一覧と申請ルール | 法人プランでのアカウント一元管理、利用状況の把握 | 禁止ではなく「使い方」を教える | | ディープフェイク・なりすまし | 送金・口座変更の別経路確認、複数承認 | メールの送信元認証、多要素認証 | 経理・経営層向けの事例共有 |
中小企業はこの順番で進める
情報システム担当者がいない会社でも、次の順番なら無理なく進められます。
1〜4は、費用をほとんどかけずに始められます。5は、社内システムとAIを連携させる段階で必要になる対策です。
---
まとめ
- IPA「情報セキュリティ10大脅威 2026」で、AIの利用をめぐるサイバーリスクが初めて3位に入った
- 生成AIのリスクは、情報漏洩、プロンプトインジェクション、ハルシネーション、著作権、シャドーAI、ディープフェイクの6つに整理できる
- システムに組み込む場合は、OWASP Top 10 for LLM Applications 2026が参考になる。特にAIに渡す権限の設計が重要
- 対策は「ルール・技術・教育」の3つをセットで考える
- 全面禁止より、法人プランとルールを用意して「安全な使い方」を広げるほうが管理しやすい
---
生成AIを安全に使う体制づくりをご支援します
Swaaabでは、生成AIの業務利用にあたってのリスク整理、社内ガイドライン・利用ルールの策定、社員向けのセキュリティ研修、そして情報漏洩やプロンプトインジェクションを考慮したAIシステム・AIエージェントの設計と実装を、AIセキュリティ対策支援として提供しています。脆弱性診断などの専門的な検査が必要な場合は、提携する専門会社と連携してご案内します。
「社員がもう使っているけど、ルールがない」「AIを社内システムにつなぎたいが、何に気をつければいいか分からない」といった段階からご相談いただけます。まずはお問い合わせからお気軽にご連絡ください。
Written by
Swaaab編集部
広島を拠点に、AI開発・DX支援・Web制作を手がける株式会社Swaaabの編集チーム。現場で得た知見をもとに、実践的な情報を発信しています。