ハルシネーションとは？生成AIの誤情報と出典・事実確認の注意点

一言でいうと ハルシネーションは、生成AIが事実や与えられた資料と合わない内容を、もっともらしい回答として生成する現象です。

もっともらしさと正しさは別のもの

生成AIは、読みやすく自然な回答を作れても、事実に合わない情報を混ぜることがあります。存在しない資料名を挙げたり、原文にない発言を引用したりする現象が、ハルシネーションと呼ばれます。ここでは、生成AIの誤情報を意味し、医療上の幻覚とは区別します。

米国の国立標準技術研究所（NIST）は、生成AIが誤った内容を自信のある表現で示す問題を、コンファビュレーションとして整理しています。回答の断定が強いことや、説明が筋道立って見えることは、事実の裏付けにはなりません。

大規模言語モデルは、学習したデータなどをもとに、文脈に続くトークンを予測して文章を生成します。その仕組みは正しい回答にもつながりますが、誤った内容や、前後で矛盾する内容を生む場合もあります。

例えば、実在する会社名と、別の会社の発表内容を結び付けてしまえば、見た目は自然でも事実としては誤りです。これは説明用の仮定です。情報が古い、問いが曖昧、必要な資料が足りないといった状況も確認の対象になりますが、原因を一つに決めつけることはできません。

AIがURLや資料名を示しても、その出典が実在するか、リンク先が回答の主張を本当に支えているかを確かめます。架空の出典だけでなく、実在する資料を付けながら内容を誤って説明する場合にも注意が必要です。

ニュース制作で、資料にある企業名と売上の数値が正しくても、対象年度が違えば正確な記事にはなりません。引用文、数字の分母、日付、対象地域、例外条件などを原資料と照合します。文章を滑らかに直すことは、こうした事実確認の代わりにはなりません。

RAGは、質問に関係する資料を検索し、その情報を入力へ加えて回答を生成する方法です。グラウンディングは、回答を確認可能な情報源に結び付ける考え方です。いずれも、モデルが記憶した情報だけに頼る回答を改善するために使われます。

ただし、関係の薄い資料を選んだり、資料の条件を読み落としたりすれば誤りは残り得ます。資料そのものが古い場合もあります。「検索を使った」「出典を表示した」という機能の有無と、出来上がった回答が根拠に沿うことを分けて点検します。

AIが作った要約や原稿は、確認すべき主張を見つけるための材料として扱えます。掲載前には、重要な事実を一次資料や取材へ戻して確かめ、確認できない点を明示する必要があります。人の発言をAIに補わせたり、存在しない引用で空白を埋めたりしないことが基本です。

対策を考えるときも、すべての誤りがなくなるとは約束できません。どの仕事でAIを使い、何を人が確かめ、判断できないときに誰へ戻すのかを決めることが、メディアの信頼を保つための実務上の課題になります。

＊このコンテンツは生成AIを用いて作成し運営者の確認を経て配信しています。＊

この記事を書いた人