AIの導入を社内で検討し始めると、遅かれ早かれ「事故が起きたらどうするのか」という問いに突き当たります。情報漏えい、誤った案内、著作権をめぐる訴訟。報じられているトラブルは、体制の整った大企業でも起きました。
ただ、報道を並べて「AIは危険だ」と結論づけてしまうと、対策の焦点がぼやけます。事例ごとに報じられた原因は異なり、対策も1つにまとまりません。入力ルールがない状態で従業員が機密情報を入れてしまったケースと、価格予測モデルの精度が事業の前提に届かなかったケースでは、打つべき手がまるで違います。
本記事では、報道や公的な記録で確認できるAIのトラブル事例6件を、報じられた範囲のまま紹介します。そのうえで、6件から読み取れることと読み取れないことを分け、自社の業務に重なる部分から対策を選べる形に整理しました。
- 企業で実際に起きたAIトラブル6件の中身と、それぞれ報じられた原因
- 情報漏えい・誤情報・著作権・バイアス・責任の所在という5つの問題点
- 6件を並べても、1つの原因には集約できない理由
- 入力ルール・検証工程・研修・段階導入が、どの事例に効いてどの事例には効かないか
まずは、AI導入の検討でよく挙がる疑問から入ります。
経営者AIの失敗事例をいくつも目にして不安になっています。うちのような規模の会社は、まだ導入を見送った方が安全でしょうか。
Writers-hub編集部
見送るかどうかは、どの業務に使うかで変わります。報じられている事例は原因がばらばらで、「AIは危険」とも「使い方次第」とも一括りにはできません。6件を1件ずつ見て、自社の業務に重なるものだけ手を打つ順番をおすすめします。
AIの問題点は、仕組み側と使い方側の両方から生じる
AIの問題点を整理するとき、「AIの性能や性質が原因なのか」「使う側の手順が決まっていなかったのが原因なのか」を分けておくと、対策の置き場所が決まります。両者では打ち手がまったく異なるためです。
- 仕組みに由来する問題：事実に基づかない生成（ハルシネーション）、学習データの偏りによるバイアス、判断根拠を説明できないブラックボックス化。現在のAIが構造として抱える性質
- 使い方に由来する問題：入力してよい情報の線引きがない、生成物を検証せず外部へ出す、承認手順を省いて送金する。組織側の手順で決まる部分
ただし、実際に起きた事故がどちらか一方だけで説明できるとは限りません。仕組み側の性質が引き金になり、手順の不足がそれを止められなかった、という重なりも起こります。後半で見る6件も、きれいに二分できるものばかりではありません。この分け方は原因を断定するためではなく、自社ではどちらの打ち手を検討すべきかを決めるために使います。
関連記事：AIの倫理的問題とは？主な論点と企業がとるべき対策を事例で解説
企業が押さえておきたいAIの問題点5つ
企業がAIを使う際に直面しやすい問題点を、まず全体像として押さえます。技術用語の定義そのものより、「どんな実害につながるか」で理解するほうが実務では使いやすいでしょう。
情報漏えい・機密情報の流出
生成AIに社内資料や顧客情報をそのまま入力すると、その内容は外部のサーバーへ送られます。ツールの契約形態や設定によっては、入力内容がモデルの学習に使われる場合もあります。入力した情報が第三者への回答に現れる可能性は、企業にとって最も想像しやすい実害でしょう。
ハルシネーション（事実に基づかない生成）
生成AIは、実在しない事実をもっともらしい文章として出力することがあります。出力が自然で説得力を持つぶん、誤りに気づかないまま社外へ出してしまう点が厄介です。専門的な領域や、統計・法令・固有名詞を扱う場面ほど確認の重みが増します。
著作権・知的財産権をめぐる争い
AIが生成した文章や画像が、既存の著作物に似てしまうケースがあります。学習データの利用がどこまで許されるのかについては、国や事案によって評価が分かれており、後述するとおり複数の訴訟が続いています。判断が確定していない領域があるという前提で扱うのが現実的です。
バイアス・差別の再生産
AIは過去のデータから規則性を学びます。そのデータに偏りがあれば、出力にも偏りが引き継がれます。採用や与信のように人の機会を左右する判断へ使う場合、過去の偏りをそのまま再現してしまう恐れが残ります。
責任の所在とブラックボックス化
AIがなぜその結論に至ったのか、人間の側で説明できないことがあります。根拠が見えないまま重要な決定を任せると、問題が起きた際に誰がどこまで責任を負うのかが曖昧になりがちです。エア・カナダの事例は、この論点に一つの答えが示された例といえます。
実際に起きたAIの問題事例6件
ここからは、企業や組織で実際に起きたトラブルを見ていきます。取り上げるのは報道や公的な記録で確認できる実在の事例だけで、架空の企業をつくって語ることはしません。各事例では、報じられた原因をそのまま書きます。
サムスン電子｜生成AIへの入力で社内情報が外部へ
2023年、サムスン電子で従業員が業務効率化のために生成AIへ社内のソースコードや会議内容を入力し、機密情報が外部へ渡ったと報じられました。同社はその後、社内での生成AI利用を制限する対応を取っています。制限が設けられたのは事象の発生後であり、利用開始の時点では入力してよい情報の線引きが定まっていなかったという経緯が伝えられています。
※ 出典：サムスン電子の生成AI利用制限に関する2023年の各種報道
Amazon｜採用AIに女性を不利に評価する傾向
Amazonは、人材採用の書類選考を効率化するAIを開発していました。ところが、学習に使った過去の応募データが男性に偏っていたため、女性に関連する記述を含む履歴書を低く評価する傾向が判明します。同社はこのシステムを実際の採用判断に用いないまま、開発を取りやめたと報じられました。原因として挙げられているのは学習データの偏りであり、運用手順の問題として報じられたものではありません。
※ 出典：ロイター通信の報道（2018年）
エア・カナダ｜チャットボットの誤案内で企業が賠償
エア・カナダのWebサイトに設置されたチャットボットが、遺族向け割引の申請方法について、同社の実際の規定と食い違う案内をしました。利用者はその案内を前提に航空券を購入しましたが、後から割引を受けられず、カナダの紛争解決機関が2024年に企業側へ賠償を命じる判断を示しています。同社はチャットボットの回答について責任を負わないと主張しましたが、その主張は退けられました。チャットボットの回答についても、企業が責任を負うという線引きが示された点で、参照する価値の高い事例です。
※ 出典：カナダの紛争解決機関による2024年の判断に関する報道
香港の多国籍企業｜ディープフェイク会議による送金詐欺
2024年、香港である企業の従業員が、ビデオ会議に映る上司や同僚の指示に従って送金を行い、多額の被害が生じたと発表されました。会議の参加者はAIで合成された偽の映像であり、被害額は約2億香港ドル、報道各社は日本円でおよそ38億円と伝えています。これはAIの誤作動ではなく、AIを道具として使った外部からの詐欺という性質の事案です。
※ 出典：香港警察の発表を伝える2024年の報道
ゲッティイメージズとニューヨーク・タイムズ｜学習データをめぐる訴訟
画像素材大手のゲッティイメージズは、自社が管理する画像が無断で学習に使われたとして、画像生成AIの開発企業を提訴しました。米国の新聞社ニューヨーク・タイムズも、自社記事が学習に利用されたとしてAI開発企業を提訴しています。いずれも学習データの利用範囲が争点であり、記事執筆時点で法的な評価が最終的に固まったわけではありません。侵害が確定した事例としてではなく、争点が形成されている段階の事例として読むのが正確です。
※ 出典：各社の提訴に関する2023年以降の報道
Zillow｜住宅価格予測の精度不足で事業から撤退
米国の不動産サービス企業Zillowは、AIによる価格予測を用いて住宅を買い取り、再販する事業を展開していました。しかし買取価格の算出精度が想定に届かず、在庫評価の損失を抱えた末に2021年、この事業からの撤退と人員削減を発表します。報じられた原因は、予測モデルの精度と、その精度を前提に置いた事業設計です。入力ルールや検証工程といった運用手順の話とは、原因の層が異なります。
※ 出典：Zillowの住宅買取事業撤退に関する2021年の報道
6件から読み取れること、読み取れないこと
6件を並べたとき、最初にやりたくなるのは「共通する原因」を探すことでしょう。ただ、報じられた内容を突き合わせるかぎり、原因は一枚に重なりません。整理すると次のようになります。
事例 | 報じられた直接の原因 | 同種の再発を減らす手段 |
|---|---|---|
サムスン電子 | 入力してよい情報の社内の線引きが定まる前に利用が広がった | 入力可否のルール明文化、入力を学習に使わせない設定のツール選定 |
Amazon | 学習させた過去の応募データが男性に偏っていた | 学習データの偏りの検査、人の機会を左右する判断を自動化しない設計 |
エア・カナダ | チャットボットの回答が自社の規定と食い違った | 回答内容と規定の定期照合、規定変更時に回答へ反映する手順 |
香港の多国籍企業 | AIを用いた外部からのなりすまし詐欺 | 送金の複数人承認、映像や音声以外の経路での本人確認 |
ゲッティ・NYT | 学習データの利用範囲に対する法的評価が定まっていない | 生成物の類似チェック、権利処理の方針が明示されたツールの選択 |
Zillow | 価格予測モデルの精度が事業の前提に届かなかった | 予測の外れ幅を織り込んだ事業設計、規模の段階的な拡大 |
6件を並べても、原因は同じ層にありません。サムスンの事例からは入力ルールを先に決める必要性を読み取れますが、同じ理屈をZillowの撤退へ当てはめることはできません。あちらは予測モデルの精度と、その精度を前提に事業を組んだ判断の話です。香港の事案にいたっては、自社のAI利用の巧拙とは別に、外部から仕掛けられた詐欺という性質を持ちます。
一つの原因に寄せて読むと、対策に抜けが生まれます。入力ルールを整えた組織でも、予測精度の見積もりや外部からのなりすましには別の手当てが必要です。事例は「共通の教訓を一つ取り出すもの」ではなく、自社の業務に重なるものを選ぶための材料として使うほうが実用的でしょう。
自社に当てはめるときは、右端の列から逆算する読み方が向いています。すでに顧客向けチャットボットを運用しているならエア・カナダの行、採用や与信でスコアリングを検討しているならAmazonの行、というように、自社の業務と接する行から手をつける順番です。
自社のどの業務なら、AIを使っても影響が小さいか整理できていますか
合同会社Writers-hubの社内AI活用の立ち上げ支援では、御社の業務フローを一緒に棚卸しし、AIを使う場所を特定するところから始めます。私たちが日常業務で使っているツール・プロンプト・ワークフローをそのまま共有し、実際の業務課題を扱うワークショップを繰り返しながら、自社で回せる状態まで伴走します。
AIの問題点への対策と、その対策が届く範囲
ここからは企業が実際に取り組める対策を挙げます。あわせて、その対策が先ほどの6件のどれに効き、どれには効かないのかも書き添えます。効かない範囲を知っておくことが、対策の抜けを減らすうえで役に立つためです。
顧客情報や未公開の社内資料は入力しない、といった基準を文書にして共有します。あわせて、入力内容を学習に使わせない設定が可能なツールを選びます。サムスンの事例と同じ型の事故には直接効きますが、生成物の誤りや予測精度の問題には効きません。
数値、固有名詞、出典、規定に関わる記述は、公開前に人が原典と照合します。検証を担当者の心がけに委ねず、抜けられない工程として業務フローへ組み込む点が要点です。エア・カナダの事例のような、案内内容と規定の食い違いを見つける工程がここにあたります。
ツールを配っただけでは、どこまで任せてよいかの判断が人によってばらつきます。何を入力してはいけないか、どの出力は必ず確認するかを、全員が同じ基準で答えられる状態をつくります。属人的な判断のばらつきを減らす一方、外部からの詐欺のような攻撃には別の手当てが要ります。
最初から全社導入を目指すと、問題が起きたときの影響範囲が読めません。社内向けの下書き作成のように、誤りが出ても取り返しのつく業務から試し、効果と問題点を見ながら範囲を広げます。Zillowの事例のように、予測の精度を前提に置いた事業を一気に拡大しない判断も、この考え方の延長にあります。
4つの対策のうち、前半2つは費用をほとんどかけずに着手できます。後半2つは時間がかかるぶん、定着すると判断のばらつきが減っていきます。順番に迷ったら、影響が戻せない業務（社外への案内、採用、与信、送金）から線を引くのが実務的でしょう。
- AIに入力してよい情報とダメな情報を文書にした
- 生成物を人が原典と照合する工程を業務フローへ組み込んだ
- 入力内容を学習に使わせない設定のツールを選んだ
- 何を確認すべきかの基準を全員で揃える研修を実施した
- 影響の小さい業務から試し、範囲を広げる順番を決めた
入力ルールで防げる事故と、防げない事故があります。チェック項目をすべて満たしても、価格や需要の予測をAIに委ねる場面では、外れ幅をどこまで許容できるかという別の検討が要ります。送金や決裁のように金銭が動く手続きでは、AIの話とは切り離して承認者を複数にする設計が有効です。
検証の工程を残したまま、定型作業だけAIへ寄せられませんか
議事録の作成、レポート生成、書類作成、データ転記。手順が毎回ほぼ同じ作業は、人の確認を残したまま仕組みへ置き換えられます。合同会社Writers-hubでは、社内業務の自動化から問い合わせ対応の自動化、業務フローに合わせた専用システムの開発までを担当しています。
独力で進めるか、支援を受けるか
対策の中身がわかっても、自社だけで実行しきれるかは別の問題です。独力で進める場合と、外部の支援を受ける場合を比べます。
| 独力だけで進める | 専門家の支援を受ける | |
|---|---|---|
| 立ち上げまでの期間 | ○ 自社のペースで決められる | ◎ 既に動いている型を借りて短縮できる |
| 事故の型への事前の気づき | △ 経験がないと想定の外に落ちやすい | ◎ 他社の事例を前提に検討できる |
| 社内へのノウハウ蓄積 | ◎ 試行錯誤がそのまま自社の資産になる | ○ 型を学びながら内製の力も育つ |
| 初期コスト | ◎ 外部費用は発生しない | △ 費用が発生する |
| 使い続けられるか | ○ 主体的だが担当者に依存しやすい | ◎ 伴走があると運用が途切れにくい |
どちらかが正解というものではありません。独力で進めれば外部費用はかからず、試行錯誤の過程がそのまま自社の判断材料として残ります。一方で、想定していない事故の型は調べようがないため、他社の事例を前提に検討できる相手と進めたほうが、検討の抜けを減らせる場面が多いのも実感するところです。支援を受けながら最終的に自社で回す「内製化」という中間の選択肢もあります。自社の人員と期限に合わせて選ぶのが無理のない進め方でしょう。
よくある質問
AIの問題点について、相談の場でよく受ける質問をまとめます。
使う業務によります。誤りが出ても取り返しのつく業務（社内向けの下書き作成など）と、外部への案内や採用判断のように影響を戻せない業務では、判断が変わります。前者から小さく始め、後者には人の確認を残す進め方が現実的です。
一つには絞れません。ただし着手順としては情報漏えいが挙げられます。入力してよい情報の線引きはルールを決めるだけで実行でき、費用もほとんどかからないためです。
現在の生成AIの仕組み上、ゼロにはできません。人による事実確認を工程として固定し、出力をそのまま最終成果物にしない運用が前提になります。数値、固有名詞、出典を含む部分はとくに確認が必要です。
できます。入力ルールの明文化と検証工程の固定は、システム投資を伴いません。人数が少ないほど、全員へ同じ基準を共有しやすい面もあります。
あの判断はカナダの紛争解決機関によるもので、そのまま日本へ適用されるわけではありません。ただし自社サイトに設置したチャットボットの回答は自社の説明として読まれるため、案内内容と自社規定の整合は確認しておく必要があります。
まとめ｜AIの問題点は、事例ごとに原因を分けて読む
AIの問題点を「危険か安全か」で捉えると、対策の焦点が定まりません。本記事で見た6件は、入力ルール、学習データの偏り、規定との食い違い、外部からの詐欺、法的評価の未確定、予測精度と事業設計と、報じられた原因がそれぞれ異なっていました。ここを一つの原因へまとめずに読むことが、抜けのない対策につながります。
実務では、自社の業務に重なる事例から対策を選ぶのが現実的な順番です。顧客向けの案内を自動化しているならエア・カナダの行を、人の機会を左右する判断へ使うならAmazonの行を、まず自社の手順と突き合わせてみてください。入力ルールの明文化と検証工程の固定は、今日から着手できます。
合同会社Writers-hubは、コンテンツ制作の現場で日常的にAIを使ってきた経験をもとに、企業のAI活用の立ち上げと定着を支援しています。どの業務から始めるかを決める段階からご相談いただけます。
関連記事：ステマは何が悪い？景品表示法が禁じる理由と企業が負うリスク
関連記事：ステマの意味とは｜語源と「サクラ」「やらせ」との違いをわかりやすく整理
関連記事：ステマ問題はなぜ起きるのか｜炎上・措置命令の事例に共通する3パターンと防ぎ方
6件のうち、自社の業務に重なるのはどれか一緒に洗い出しませんか
どの業務にAIを使うか、どこに人の確認を残すか。決め方に迷っている段階でも構いません。合同会社Writers-hubが御社の業務内容を伺ったうえで、進め方の選択肢を整理します。
