生成AIで情報漏洩は起こる？原因や被害事例、セキュリティ対策を解説

情報漏洩以外のセキュリティリスク

生成AIには情報漏洩以外にも、企業活動に深刻な影響を与えるセキュリティリスクが潜んでいます。最も注意すべきなのは、AIが誤った情報を事実として生成するハルシネーションです。

実在しない法令や統計データを作り出し、それを基に経営判断を下せば、企業は大きな損失を被る可能性があります。

また、悪意のある第三者によるAIの不正利用も深刻な脅威です。主に以下のような用途でAIが悪用されています。

AIが生成した偽の音声や動画（ディープフェイク）により、企業の信頼性が損なわれるケースも増加傾向にあります。

企業は技術的な対策と従業員教育の両面から、これらのリスクに備える必要があります。

【関連記事】サイバー攻撃とは？種類や被害事例、対策方法についてわかりやすく解説

【関連記事】AI時代に求められるセキュリティ対策｜サイバーセキュリティとAIの関係性

個人情報や機密情報の出力

AIモデルの学習過程で取り込まれた個人データが、予期せぬタイミングで出力される事例が増えています。

大規模言語モデルは、インターネット上の膨大なテキストデータから学習するため、その中に含まれる個人名や住所、電話番号なども記憶されています。

ユーザーが特定の質問をした際、AIが過去の学習データから類似パターンを見つけ出し、実在する個人情報を含む回答を誤って生成してしまうリスクがあるのです。

これは個人情報だけでなく、企業の内部文書や契約書の内容も同様の危険にさらされています。

学習データへの不正アクセス

サイバー犯罪者にとって、AIシステムの学習データは格好の標的となっています。

なぜなら、膨大な個人情報や企業秘密が集約されたデータベースは、一度の侵入で大量の情報を入手できる可能性が高いからです。

攻撃者は脆弱性を突いてシステムに侵入し、学習に使用された元データや処理済みのデータセットを盗み出します。

認証システムの脆弱性を悪用した不正ログインや、APIキーの漏洩による無断アクセスなど、攻撃手法は日々進化しています。

【関連記事】不正アクセスとは？代表的な手口と被害に遭わないための対策

システムのバグや不具合

プログラムの欠陥は、思わぬ形で機密情報の流出を引き起こします。

開発段階で見落とされたコードのエラーや、複雑なシステム間の連携不具合により、本来アクセス制限がかかっているはずのデータが外部から閲覧可能になってしまうリスクがあります。

定期的なアップデートやメンテナンス作業も、新たなリスクを生む要因となっているのが実情です。

特に大規模なシステム更新時には想定外の動作が発生しやすく、一時的にでも情報が無防備な状態にさらされる危険性があります。

生成AI利用ユーザーの個人情報が閲覧可能に

2023年3月、世界中で利用されているChatGPTの有料版サービスで、深刻な個人情報漏洩事件が発生しました。

約10時間という長時間にわたり、契約者の氏名やメールアドレス、さらにはクレジットカード情報までもが第三者から閲覧できる状態になっていたのです。

開発元のOpenAI社による調査の結果、オープンソースライブラリーに潜んでいたバグが原因であることが判明しました。

この事件は、世界中の企業や個人に大きな衝撃を与えました。バグは迅速に修正されたものの、漏洩した情報がどの程度悪用されたかについては把握できていません。

システムのバグによりチャット履歴が他の人に表示

同じく2023年3月、ChatGPTで別の深刻なプライバシー侵害事件が発生しました。

ユーザーが過去に行った質問と回答の履歴が、まったく関係のない他のユーザーの画面に表示されるという前代未聞の事態です。

この事件では、企業の戦略会議の内容や個人的な悩み相談など、本来は秘匿されるべき情報が無差別に露出する危険性がありました。

OpenAI社の技術チームが原因を調査した結果、インメモリ型データベースシステムの不具合が判明しました。

データの一時保存と高速処理を担うこのシステムが、ユーザー情報の振り分けを誤ったことで混乱が生じたのです。

アカウント情報が流出しダークウェブで取引

2023年6月、シンガポールのセキュリティ企業による調査で、生成AIサービスのログイン情報が大規模に流出している実態が明らかになりました。

日本からも661件以上のアカウント情報が漏洩し、ダークウェブ上で売買されていたことが確認されています。

犯罪者たちは「インフォスティーラー」と呼ばれる情報窃取型マルウェアを使い、ブラウザに保存されたIDとパスワードを不正に盗み出していました。

調査期間の1年間で、世界中から10万件を超えるアカウント情報が闇市場に流出していたという衝撃的な事件です。

【関連記事】危険が伴うダークウェブとは？誕生した背景や利用するリスクを解説

【関連記事】マルウェアとは？種類や感染経路、感染した場合の症状や対処法を解説

アメリカ

アメリカでは2025年7月、連邦議会上院が州独自のAI規制を禁止する条項の削除を賛成99対反対1で可決しました。

当初の法案には、2035年まで州によるAI関連法の制定を禁じる内容が含まれていましたが、カリフォルニア州を中心とした強い反発により撤回されたのです。

テック企業の経営者らは統一的な連邦規制を支持していたものの、37州の司法長官が州の主権を守る立場から反対を表明しました。

特にカリフォルニア州では、生成AI学習データの透明性確保やディープフェイク対策など、先進的な法律が既に施行されています。

イタリア

イタリアは2023年3月、ChatGPTの使用を一時的に禁止した国として注目を集めました。

同国のデータ保護機関は、ChatGPTがEUのプライバシー法に違反し、個人情報を不適切に収集・処理していると指摘したのです。

欧州警察機関からも、詐欺やサイバー攻撃といった犯罪への悪用懸念が示され、規制への動きが加速しました。

さらに2025年1月、イタリア当局は中国のスタートアップ企業「ディープシーク」について、イタリア国内におけるデータ処理を制限し、調査を開始したと発表しました。

制限・調査の理由は、「個人データの収集などに関する情報の開示が不十分」だとしています。

フランス

フランスは2024年のパリオリンピック・パラリンピックに向けて、AI監視システムの活用を合法化する法案を可決しました。

テロ対策や群衆管理を目的として、監視カメラにAI技術を組み込むことが一時的に認められたのです。

政府は顔認証技術は使用しないと説明していますが、歩き方や姿勢など個人を特定できる生体データの収集には懸念の声が上がっています。

市民団体からは、監視国家への第一歩になりかねないという批判も寄せられました。

中国

中国政府は2023年2月、国内企業に対してChatGPTの使用停止を指示し、外国製AIサービスへの警戒感を露わにしました。

アメリカ企業が開発したAIに中国の機密情報が蓄積されることへの懸念が、この決定の背景にあります。

同時に中国は、独自の生成AI開発に巨額の投資を行い、技術的な自立を目指しています。

特に最近では中国の生成AI企業「ディープシーク」が安価な割に高性能であるとして、世界的に注目を集めました。

EU

欧州議会は2023年6月、世界で最も包括的なAI規制法「EU AI Act」の草案を可決しました。2024年5月に成立し、2030年12月までに規制の内容に応じて段階的に施行されていきます。

この法律は、AIシステムをリスクレベルに応じて分類して、高リスクなものには厳格な要件を課すという仕組みです。

顔認証技術を用いた大規模な監視活動は原則禁止とされ、市民の基本的権利を保護する姿勢を明確にしています。

「EU AI Act」は、技術革新と倫理的配慮を両立させる試みとして、世界のAI規制のモデルケースとなることが期待されています。

チャット履歴をオフに設定する

多くの生成AIサービスでは、会話履歴がデフォルトで保存される仕組みになっています。

この機能をオフにすれば、入力した企業秘密や顧客データがAIの学習に使われることはありません。

ChatGPTをはじめとする主要なAIサービスには、設定画面から簡単に履歴保存を無効化できる機能が備わっています。

ただし、過去の会話を参照できなくなるデメリットもあるため、必要な情報は別途保管することが大切です。

設定は一度行えば終わりではなく、アップデート後に設定が初期化される場合もあるため、定期的な確認が欠かせません。

個人情報や機密情報は入力しない

AIへの情報入力で最も重要なのは、「送信してはいけないデータ」を明確に理解することです。

個人を特定できる氏名や住所、電話番号は絶対に入力してはいけません。企業の未公開情報も同様です。

たとえば、新製品の開発コードネーム、取引先との契約金額、社内の人事評価など、外部に漏れると問題になる情報は全て該当します。

「仮の話として」という前置きをしても、AIはその内容を記憶し、別の文脈で出力する危険性があるため、少しの情報でも絶対に入力しないように徹底しましょう。

生成AI使用に関するガイドラインを策定する

組織として統一されたルールがなければ、個人の判断に依存することになり、重大なインシデントに繋がりかねません。

生成AI使用に関するガイドラインを策定すれば、個人の判断による生成AIへの情報漏洩を防げます。

「顧客の個人情報」「未発表の財務データ」「競合他社の分析資料」など、誰が見ても判断できる内容にすることがポイントです。承認フローや違反時の対処法も含めることで、現場の混乱を防げます。

従業員教育を実施する

ルールを作っても、その重要性を理解していなければ形骸化してしまいます。定期的な研修で意識を高めることが重要です。

新入社員には基礎から、ベテラン社員には最新の脅威情報を中心に、対象者に応じた内容の教育を定期的に実施しましょう。

実際の漏洩事例を使ったケーススタディは特に効果的です。

「ある企業でこんな入力をしたら、3ヶ月後に競合他社に情報が漏れた」といった具体例は、リスクを実感させます。外部講師による専門的な講義も年に数回は実施したいところです。

法人向けの生成AIを使用する

一般向けの無料AIサービスと企業向けの有料サービスでは、セキュリティレベルに大きな差があります。

法人向けサービスは専用環境で動作し、データは暗号化されるため、基本的に学習には使用されません。

導入コストは月額数万円から数十万円と決して安くはありませんが、情報漏洩による損害を考えれば必要な投資といえるでしょう。

「Microsoft 365 Copilot」や「Google Workspace」など、既存の業務システムと連携できるAIサービスも増えています。

自社のニーズとセキュリティ要件を照らし合わせ、適切なサービスを選択することが大切です。