「生成AIのリスクを漏れなく挙げて報告すれば、社内で使ってよいかどうかの判断はつくはず」。稟議や社内報告では、想定されるリスクを一覧にして承認を得る進め方が長く続いてきたため、生成AIも同じ手順で扱えると考えられがちです。ただ、ハルシネーションや情報漏えい、著作権侵害を並べた資料を経営層に持っていくと、「危ないなら使わなくていい」で会話が終わってしまいます。
しかし、記事制作の工程に生成AIを組み込み、企業の社内利用の立ち上げにも関わってきた弊社の立場から言えるのは、報告が通らない原因は問題点の中身ではなく、分け方にあるということです。技術の仕組みに由来して取り除けないものと、使い方を決めていないために起きるものを切り分ければ、前者は発生する前提でどこで拾うかを、後者は何を禁止して誰が確かめるかを書けるようになります。
本記事では、企業の実務で表面化する7つの問題点から、実際に公表されたトラブルの4つの型、入口と出口と体制の3か所に確認の工程を挟む組み立て方まで、記事制作会社の視点で順を追ってお伝えします。
- 生成AIの問題点を「技術に残るもの」と「運用で消せるもの」に分ける切り分け方
- 企業が押さえるべき7つの問題点と、それぞれが実務のどこで表面化するか
- 画像生成AIにだけ発生する論点と、文章生成との違い
- 実際に公表されたトラブルの4つの型
- 入力と出力と体制の3か所に確認工程を挟む対策の組み立て方
生成AIの問題点は「技術に残るもの」と「運用で消せるもの」に分かれる
問題点の一覧をそのまま経営層に持っていくと、たいてい「危ないなら使わなくていい」で会話が終わります。原因は一覧の中身ではなく、分け方にあります。
生成AIのリスクは、性質の違う2種類が同じ箱に入っています。ひとつは、技術の仕組みそのものに由来し、利用者側の工夫では取り除けないもの。もうひとつは、使い方を決めていないために発生し、運用の設計で大幅に減らせるものです。
前者の代表がハルシネーション、つまり事実でない内容をもっともらしく出力する現象になります。生成AIは言葉のつながりやすさをもとに文章を組み立てる仕組みで動いており、事実かどうかを判定する機能を内蔵しているわけではありません。だから、精度が上がっても発生率が下がるだけで、ゼロにはならないと見ています。
後者の代表は情報漏えいです。何を入力してよいかを決め、学習に使われない設定のプランを選び、入力前に確認する担当を置けば、発生確率は大きく下げられます。ここは技術の問題ではなく、社内の取り決めの問題でしょう。
この2つを分けると、報告の書き方が変わります。技術に残るものは「発生する前提で、どこで拾うか」を書く。運用で消せるものは「何を禁止し、誰が確認するか」を書く。どちらも「注意して使います」では通りません。
経営者結局のところ、リスクが残るなら導入を見送ったほうが安全ではないですか。
Writers-hub編集部
見送りたくなるお気持ちはわかります。ただ実務では、禁止した会社ほど社員が個人アカウントで使い始めて、会社から見えない状態になっていく。リスクを消すのではなく、どこで確認するかを決めるほうが現実的だと考えています。
関連記事：AIの倫理的問題とは？主な論点と企業がとるべき対策を事例で解説
生成AIが抱える主な問題点を7つに整理する
ここからは、企業の実務で表面化する順に7つを見ていきます。それぞれ「何が起きるか」だけでなく、「どの工程で顔を出すか」まで押さえておくと、後の対策がそのまま組み立てられます。
1. 事実でない内容をもっともらしく出力する
もっとも頻繁に問題になるのがハルシネーションです。存在しない統計、実在しない書籍、間違った法令の条番号。しかも文章としては整っているため、内容を知らない人が読むと違和感を持ちません。
厄介なのは、指摘すると素直に訂正してくるのに、その訂正内容がまた誤っている場合があることです。AIとの往復だけでは真偽が確定しないため、外部の一次情報に当たる工程を別に持つ必要があります。ハルシネーションは設定変更や上位プランへの課金では消せません。
2. 入力した情報が社外に残る可能性がある
無償版のサービスでは、入力内容がサービス改善やモデルの学習に利用される設定が既定になっている場合があります。顧客名、未発表の企画、ソースコード、人事情報。こうした内容を貼り付けた時点で、自社の管理下から離れる可能性が生じます。
法人向けプランや学習に使わない設定を選べば、この範囲は狭められるでしょう。ただし、社員が個人契約のアカウントを業務に使っていれば、会社側の設定は関係なくなってしまいます。
入力内容の扱いは、同じサービスでも契約プランと管理者設定で変わります。「あのツールは安全」と製品名だけで判断せず、自社が契約しているプランの条件を確認してください。
3. 出力が他人の著作権や商標を侵害することがある
権利の問題は、学習段階と生成・利用段階を分けて考える必要があります。実務で問われやすいのは後者、つまり出力されたものを公開・販売する段階です。
著作権侵害が成立するかどうかは、既存の著作物と似ているか（類似性）と、それに依拠して作られたか（依拠性）で判断されます。特定の作品名や作家名をプロンプトに入れて生成した場合、依拠性が認められやすくなると整理されています。
※ 文化庁 文化審議会著作権分科会法制度小委員会「AIと著作権に関する考え方について」（2024年3月）の整理にもとづく。
4. 学習データの偏りがそのまま出力に出る
生成AIは学習したデータの傾向を引き継ぎます。職業と性別の結びつけ、特定の地域や属性に対する評価の偏り、英語圏の慣習を前提にした表現。採用資料や社外向けの文章で表に出ると、企業の姿勢を問われる事態になりかねません。
偏りは、出力を読んだだけでは気づきにくい性質を持っています。1本の記事では自然に見えても、10本並べたときに人物の描かれ方が偏っていると初めてわかる、という順序で発覚しがちです。
5. 同じ質問でも回答が変わり、検証しづらい
生成AIは同じ入力に対して毎回同じ出力を返すとは限りません。検証したい側からすると、これはかなり厄介な性質です。指摘を受けた出力を再現できず、原因の特定が進まないためです。
だからこそ、業務で使うなら入力したプロンプトと出力を記録として残す運用が要ります。後から「なぜこの表現になったのか」を説明できる状態にしておくと、社内のやり取りが速くなるはずです。
6. 誰が責任を負うのかが決まらない
AIが生成した文章に誤りがあった場合、責任を負うのは公開した企業です。ここは動きません。それでも実際の現場では、「AIが出したものだから」という説明が最初に出てきて、確認の主担当がうやむやになる場面が起こります。
責任の所在は、技術ではなく社内の役割分担の問題でしょう。誰が最終確認をして公開ボタンを押すのかが決まっていない限り、この問題点は残り続けます。
7. 偽情報やなりすましを作る手間が下がる
社会全体に関わる論点として、偽情報の生成コストが下がったことが挙げられます。実在の人物の音声や映像を合成したディープフェイクは、詐欺や信用毀損の手段として使われる例が報じられてきました。
自社が加害側になるだけでなく、被害側になる可能性もあります。経営者の音声を装った送金指示や、自社名をかたる偽の広告。こうした事態への備えは、生成AIの利用可否とは別に検討すべき論点だと考えています。
生成AIが抱える課題については、総務省の令和6年版情報通信白書でも、技術的な限界と社会的な影響の両面から整理されています。社内報告の裏づけとして参照しやすい一次情報です。
関連記事：AIの問題点を事例で解説｜企業で起きたトラブル6件と対策
画像生成AIには、文章生成とは別の問題点がある
画像生成AIを扱う場合、文章生成の論点に加えて、視覚表現ならではの確認事項が増えます。広告やパッケージなど、露出が大きい用途ほど注意が要ります。
- 特定の作家名や作品名をプロンプトに入れて、作風を寄せにいく
- 実在の人物の顔立ちを指示して生成し、広告に使う
- 背景に写り込んだロゴや商標をそのまま残して公開する
- 生成物を無加工のまま、自社オリジナル素材として素材集に登録する
とくに人物については、著作権とは別に肖像権やパブリシティ権の論点が加わります。実在の人物に似た顔が生成された場合、著作権の話だけで整理しようとすると抜けが出ます。
もうひとつ見落とされがちなのが、掲載先の規約です。広告プラットフォームや素材サイトのなかには、AI生成物の投稿や出稿に条件を設けているところがある。作る側の権利処理が済んでいても、出す先で止まることは起こり得ます。
そして、自社が作った画像を守れるかという逆向きの論点も残ります。日本の著作権法では、著作物は人の思想または感情を創作的に表現したものとされているため、指示を出しただけで生成された画像に著作権が認められるかは、創作的な関与の度合いによって判断が分かれます。競合が似たビジュアルを出してきたときに止められるとは限らない。企業ロゴや主力商品のビジュアルに使う場合は、この点を先に押さえておいたほうがよいでしょう。
関連記事：ステマは何が悪い？景品表示法が禁じる理由と企業が負うリスク
実際に表面化したトラブルには4つの型がある
事例を眺めていくと、起きていることの型はそれほど多くありません。公表された出来事を整理すると、次の4つに収まります。
型1は、入力した情報が外に出るケースです。2023年には、Samsung Electronicsの社内で機密性の高い情報がChatGPTに入力されていたことが報じられ、同社が生成AIの社内利用を制限する対応を取ったと伝えられました。
型2は、出力された誤情報をそのまま使うケースになります。2023年5月、米国ニューヨーク州の連邦地方裁判所で、弁護士がChatGPTの生成した実在しない判例を引用した書面を提出し、制裁を受けた件が広く報じられました。専門家であっても、出力の確からしさを確認する工程がなければ同じことが起きるという事実を示した出来事です。
型3は、学習データをめぐって権利者と争いになるケースです。2023年12月にThe New York TimesがOpenAIとMicrosoftを著作権侵害で提訴した件をはじめ、報道機関や創作者による訴訟が各国で続いています。
型4は、規制当局の指摘でサービスの利用が止まるケースになります。2023年、イタリアのデータ保護監督機関がChatGPTの国内利用を一時的に制限しました。自社に落ち度がなくても、使っているツールが突然使えなくなる可能性は残ります。
並べてみると、トラブルの多くは入力か出力のどちらかで起きています。型3と型4は利用する側では動かしにくい部分ですが、型1と型2は運用の設計で確実に減らせる領域です。だからこそ、対策の重心はここに置くべきだと考えています。
社内報告で事例を紹介するときは、「怖い話」ではなく「自社で同じことが起きる条件」まで書いてください。型1なら「個人アカウントの業務利用を把握していない状態」、型2なら「公開前に事実を照合する担当が決まっていない状態」が該当します。
生成AIの問題点は「入口・出口・体制」の3か所で止める
ここまでの問題点を、ひとつずつ潰そうとすると手が回りません。実務で機能しているのは、リスクを個別に追いかけるのではなく、問題点は禁止ではなく、確認工程を挟むことで減らせるという考え方に切り替えるやり方です。
止める場所は3か所あります。何を入れるかを決める入口、何を出すかを確かめる出口、そして誰が判断するかを決める体制です。
順番にも意味があります。入口の線引きが決まっていないまま出口の確認だけを増やすと、確認担当の負荷ばかりが上がっていく。先に入口を絞ってから、出口の項目を決めるほうが運用は続きます。
顧客の個人情報、未公表の財務数値、契約書の全文、ソースコードなど、入力を禁止する情報を具体的に列挙します。「機密情報は入力しない」という書き方では、現場が判断できません。あわせて、業務で使うツールを2つか3つに絞り、入力内容が学習に使われない設定になっているかを管理者側で確認します。
事実の確認と権利の確認は、見るポイントが違うため分けます。事実の側で照合するのは、数値・固有名詞・法令名・日付の4つ。一次情報に当たって突き合わせます。権利の側では、特定の作品名や作家名をプロンプトに入れていないか、既存の表現に似すぎていないかを見ます。文章と画像で確認項目が変わる点にも注意してください。
公開の可否を判断する担当を職位ではなく個人単位で決め、その人が確認するまで公開されない流れを作ります。あわせて、入力したプロンプトと出力を残す場所を決めておくと、後から経緯を説明できます。
サービスの規約や設定項目は更新されていきます。初回に決めたルールをそのまま運用し続けると、実態と合わなくなる。見直す時期を先に決めておくほうが、放置されにくいはずです。
3つのうち、多くの企業でいちばん薄いのが出口です。入力ルールは総務や法務が作るため整備されやすい一方、出力の確認は「作った人が自分で見る」で止まりがちだからでしょう。作った本人は、AIの出力を疑いにくい状態で読んでいます。
出口の確認は手間に見えますが、省いたときのほうが結果として時間を使います。制作の現場で数えてみると、生成そのものは短時間で終わる一方、公開後に誤りが見つかったときの修正と関係先への説明には、その何倍もの時間がかかりました。確認工程は追加の作業ではなく、後工程で発生する差し戻しを前倒ししているだけだと捉えています。
社内ルールを文書にするときは、次の項目が埋まっているかを確認してみてください。
- 入力を禁止する情報の具体的な列挙
- 業務で使ってよいツールと、その契約プラン
- 個人アカウントを業務に使うことの可否
- 公開前に事実を照合する担当と、照合する対象の範囲
- 生成物であることを社外に明示するかどうかの基準
- 問題が起きたときの報告先と初動
ルールは作ったのに、現場で確認工程が回っていませんか
文書を配っただけでは、出口の確認は定着しません。どの業務のどの工程に確認を差し込むか、誰がどこまで見るかを、実際の作業手順に落とし込むところまで伴走します。
「AIに書かせない」という判断は、対策として機能しにくい
問題点を並べたあとに出てくる結論として、全面禁止があります。判断としては理解できるものの、実際の効果には疑問が残ります。
- どのツールを誰が使っているか把握できる
- 入力してよい情報を会社側で管理できる
- 出力の確認工程を業務手順に組み込める
- 問題が起きたときに経緯を追える
- 個人アカウントでの利用が水面下で進む
- 会社の管理外で機密情報が入力される
- 使い方の知見が社内に蓄積されない
- 競合との作業速度の差が広がっていく
禁止した会社ほど、個人アカウントでの利用が見えなくなります。手元のスマートフォンで無償版を開けば済むため、禁止は「使わせない」ではなく「報告させない」として働いてしまう面があります。
もちろん、扱う情報の性質によっては、業務での利用を認めない判断が妥当な領域もあります。医療情報や与信情報のように、外部送信そのものが制度上の問題になる場合です。その場合でも、全社一律の禁止ではなく、業務単位で線を引くほうが実態に合うでしょう。
AIが書いた原稿を、誰がどう確認するかで止まっていませんか
出口の確認は、体制がなければ属人的な作業になります。事実の照合、権利の確認、表現の統一まで含めた編集工程を、外部の目として組み込む方法もあります。
よくある質問
生成AIの問題点について、企業の担当者から実際に受けることの多い質問をまとめました。
一部は改善しますが、すべては解消しません。ハルシネーションは発生率が下がっても構造上ゼロにはならず、権利や責任の所在は技術ではなく制度と運用で決まる論点だからです。技術の進歩を待つより、確認工程を先に作るほうが確実だと考えています。
変わります。多くのサービスで、法人向けプランや管理者設定によって入力内容を学習に使わない選択ができます。ただしプラン名だけで判断せず、契約している条件と管理画面の設定を実際に確認してください。
公開自体を禁じる法律はありません。ただし内容の責任は公開した企業が負うため、数値・固有名詞・法令名を一次情報と照合する工程は必要です。実務では、事実確認を通さない公開でつまずく例が目立ちます。
入力を禁止する情報の具体的な列挙です。抽象的な禁止事項では現場が判断できず、結果としてルールが参照されなくなります。次に、使ってよいツールを絞り込むところまで進めてください。
まとめ｜生成AIの問題点は、止める場所を決めれば減らせる
生成AIの問題点は7つに整理できますが、対応の型はもっと少なくなります。技術に残るものは工程で受け止め、運用で消せるものはルールで防ぐ。この切り分けができれば、社内の議論は「使うか使わないか」から「どこで確認するか」に移っていくはずです。
止める場所は、入口と出口と体制の3か所です。とりわけ薄くなりがちなのが出口、つまり公開前の確認になります。作った本人だけが見る状態を、別の目が入る状態に変えられるかどうか。ここが実務上の分かれ目だと感じています。
私たち合同会社Writers-hubは、記事制作の現場に生成AIを組み込みながら、事実の照合と権利の確認を工程として運用してきました。社内での立ち上げ支援では、ルール文書を作って終わりにせず、実際の業務手順のどこに確認を差し込むかまで一緒に決めています。
自社の場合、どこから手をつけるべきか整理しませんか
使っているツール、扱っている情報、公開までの工程は会社ごとに違います。現状をうかがったうえで、入口と出口のどちらから着手すべきかをご提案します。
