AIが自信満々に間違えるのはなぜか|仕組みと、業務で防ぐ手順
「AIは、聞かれたことをその場で調べて答えている」。生成AIを仕事に入れ始めた方が、最初に持つ前提です。ところが実際には、AIは多くの場面で調べていません。調べずに、それらしい文章を組み立てています。厄介なのは、その文章が詳しくて具体的なほど、正しく見えてしまうことです。この、もっともらしく聞こえるが正しくない出力を、ハルシネーションと呼びます。
Anthropicの利用規約には、この点がそのまま書かれています。「Outputs may not always be accurate and may contain material inaccuracies even if they appear accurate because of their level of detail or specificity.(アウトプットは常に正確とは限らず、その詳しさや具体性のために正確に見える場合であっても、重大な誤りを含むことがあります)」。詳しく書かれているから正しい、という読み方は通用しない。提供する側が規約の本文でそう明記しています。
この記事は、AIが自信ありげに間違える仕組みを、OpenAI・Anthropic・Googleの公式資料だけを根拠に整理します。どのAIが間違えにくいかという比較はしません。3社を同じ条件で比べた公式の材料が存在しないためです。記載はすべて2026年8月23日時点の公開情報にもとづきます。
先に、三つの問いに短く答えます
問1「なぜ間違えるのか」|OpenAIの研究記事は、標準的な学習と評価の手順が、不確実性を認めるよりも当て推量に報酬を出しているためだ、と説明しています。
問2「なぜ自信満々に見えるのか」|見た目の自信と中身の正しさは連動していません。Anthropicは規約で「詳しさや具体性のために正確に見える場合でも、重大な誤りを含むことがある」と書いています。
問3「では何をすればいいか」|聞き方・材料・工程の三つの層で受け止めます。手順を公式に書いているのはAnthropicで、「分かりません」を許す、逐語引用で裏づける、主張ごとに出典を出させる、の三つが基本です。
AIは調べて答えているわけではない
最初に、いちばん多い思い違いをほどいておきます。チャット画面に質問を打ち込むと、AIがどこかの資料を探しに行き、見つけた内容を要約して返してくれる。多くの方がそう想像しています。検索につながっている製品もあるので半分は当たっていますが、検索は後から足された機能であって、基本の動き方ではありません。
OpenAIが公開している言語モデルでハルシネーションがおきる理由という研究記事は、この現象を「モデルが正しくない回答を自信を持って生成するという現象」と定義しています。定義の中にすでに「自信を持って」が入っている点が、この話の要です。
覚えられる事実と、覚えられない事実がある
同じ研究記事は、学習の段階で何が起きているかを、画像の分類にたとえて説明しています。数百万枚の猫と犬の写真に「猫」または「犬」のラベルが付いていれば、アルゴリズムは確実に分類できるようになる。ところが、それぞれの写真にペットの誕生日のラベルが付いていたらどうなるか。誕生日は基本的にランダムなので、いかに進化しても常にエラーが出る、というのが公式の説明です。
そのうえで、記事はこう続けます。つづりや括弧は一貫性のあるパターンに従っているため、それらのエラーはほとんどなくなる。ところが、ペットの誕生日のように頻度が低くランダムな事実は、パターンからだけでは予測できないため、ハルシネーションにつながる。AIが間違えるのは、手を抜いたからではなく、作り方から出てくる性質です。
身近なものにたとえるなら、文法は完璧に身についているのに、初対面の人の誕生日だけは知りようがないのと同じ状態です。文法の側は毎回きれいに整うので、出てきた文章は例外なく読みやすい。読みやすさは、中身の裏づけとは別のところで作られています。
研究記事には、実際に起きた例も載っています。人気のチャットボットに、この報告書の著者であるAdam Tauman Kalai氏の博士論文のタイトルを尋ねたところ、自信を持って三つの異なる回答が提示され、どれも正しくなかった。誕生日を尋ねたときも三つの異なる日付が示され、やはりどれも正しくなかった、というものです。三回とも違う答えが返り、三回とも自信ありげだった。見た目の確からしさが当てにならない、という一例です。
なぜ自信がありそうに見えるのか
「知らないなら、知らないと言えばいいのに」と誰もが思います。OpenAIの研究記事は、その理由を正面から説明しています。言語モデルでハルシネーションがおきるのは、標準的な学習と評価の手順により、不確実性を認めるよりも、当て推量のほうに報酬が出るためだ、というのが結論です。
公式が使っている比喩は、そのまま引用するのがいちばん分かりやすいので、そうします。「これは多肢選択のテストのようなものです。答えがわからなくても、運が良ければ当てずっぽうで正解になるかもしれません。空のままにすれば間違いなくゼロ点です。これと同じように、モデルを正確性、つまり正しく回答した質問の割合についてのみ評価すると、モデルは『分かりません』と回答する代わりに推測することを選ぶようになります」。
もう一つの例も挙げられています。誰かの誕生日を知らないとき、「9月10日」と推測すれば365分の1で当たるが、「分かりません」ではゼロ点。数千の質問を重ねると、スコア上は慎重なモデルより推量するモデルのほうが良く見えてしまう、というわけです。
研究記事には、この構造が数字で表れた例も載っています。SimpleQAという評価で、gpt-5-thinking-miniは棄権率(回答を提示しない割合)が52%、正解が22%、誤りが26%。OpenAI o4-miniは棄権率が1%、正解が24%、誤りが75%でした。公式の解釈は、正確性では古いo4-miniのほうが少し良いがエラー率は非常に高い、というものです。
この数値は2025年9月に公開された研究記事のもので、対象も当時のモデルです。現行世代の性能を示すものではありません。見ていただきたいのは数字の大小ではなく、「正解の割合を上げること」と「誤りを減らすこと」が別々の話だという構造のほうです。
自信のある新人の報告書に、よく似ています
この仕組みは、人の組織にも見覚えがあるはずです。分からないと言うと評価が下がる職場に入った、自信のある新人を想像してみてください。空欄で出せば減点され、それらしく埋めて出せば、当たっていれば加点、外れても指摘されるまでは気づかれません。しかも新人は真面目なので、書式は整い、口調は落ち着いていて、根拠がある箇所とない箇所が同じ丁寧さで並びます。
問題はその新人の人格ではなく、空欄を許さない評価の仕組みのほうです。AIに起きているのも同じことだとOpenAIは説明しています。だから対処も同じで、「分かりませんと書いてよい」と先に伝えることになります。
公式が正面から否定している三つの思い込み
同じ研究記事には、よくある誤解を主張と調査結果の形で並べた箇所があります。「正確性を上げれば間違いは消える」に対しては、モデルのサイズや検索および推論の能力にかかわらず正確性が100%に達することは決してない、現実の一部の質問は本質的に回答不可だから、という回答。「防ぎようがない」に対しては、不確かな場合に回答を控えられるので防ぐことはできる、という回答です。ゼロにはならないが、付き合い方は決められる、ということになります。
各社は公式に何と書いているか
「AIは間違えることがある」という点は、3社とも公式に認めています。ただし、書き方の温度がかなり違います。社内でルールを作るときに、この違いはそのまま使えます。
Anthropic|「詳しいから正しい」を規約で否定している
冒頭で引用した一文は、AnthropicのConsumer Terms of Serviceにあります。同じ箇所には、独立して正確性を確認することなくアウトプットに依拠すべきではない、という記載も並びます。開発者向けのハルシネーションを減らすためのドキュメントにも、最先端の言語モデルでさえ事実として正しくない文章を生成することがある、と書かれています。
利用者向けのヘルプページには、間違いの型がもう少し具体的に挙げられています。時事について尋ねられると混乱することがあること。権威がありそうに見え、説得力があるように聞こえるのに、事実に基づいていない引用を表示することがあること。正しく見えるのに、大きく間違っていることを書く場合があること。
OpenAI|「唯一の情報源にしない」と規約に書いている
OpenAIの利用規約(日本語版)には、「アウトプットは常に正確であるとは限りません。お客様は、本サービスからのアウトプットを、真実又は事実に基づく情報の唯一の情報源として、又は専門家のアドバイスの代わりとして依拠すべきではありません」という一文があります。使用や共有の前に、必要に応じて人による確認を行うよう求める記載も続きます。
Google|「二度確認してください」と案内している
Generative AI Additional Terms of Serviceには、本サービスが不正確な内容を提供することがあり、それはGoogleの見解を表すものではない、という趣旨の記載があります。利用者向けのGemini Appsのヘルプはもっと平易で、Gemini Appsは間違えることがあるので回答を二度確認し、専門的な助言について回答に頼らないように、と書かれています。
免責の書き方は、三者三様です
とくに目を引くのがAnthropicのUsage Policyです。他社が「頼らないでください」と注意を促すのに対し、こちらは義務の形で書かれています。個人や消費者に直接影響する助言・推奨・主観的な判断に使う場合、その分野の有資格の専門家が、配布または最終決定の前にレビューしなければならない。出力を直接提示する場合は、AIを使っていることを、少なくとも各セッションの冒頭で開示しなければならない。この二つです。
| 提供元 | 書き方 | 挙げられている領域 |
|---|---|---|
| OpenAI | 禁止(使用してはならない) | 信用・教育・雇用・住宅・保険・法律・医療など、個人に法的または重大な影響を与える目的 |
| Anthropic | 義務(有資格者のレビュー+AI利用の開示) | 法解釈、医療上の判断と診断、各種保険の判断、金融上の判断と投資助言、雇用と住宅の適格性判定、学力試験と入学審査、報道系コンテンツの生成 |
| 注意喚起(頼らないでください) | 医療・法律・金融その他の専門的な助言(API向けの規約では、これにメンタルヘルスが加わります) |
2026年8月23日時点の各社の公開文書の記載にもとづきます。ここで整理したのは各社の規約に書かれていることであり、日本の法令についての説明ではありません。実際の運用については、必ずその分野の有資格の専門家にご確認ください。
この表の目的は、優劣をつけることではありません。いちばん強い書き方に社内ルールを合わせておけば、どの製品を使っても足りるという読み方が、実務では役に立ちます。規約の読み方をもう一段広げたい場合は、AIが作った文章や画像を仕事で使ってよいかもご覧ください。
間違いが出やすい場面
ここまでの説明から、危ない場面は自然に絞り込めます。公式資料が挙げているものだけを並べると、次の四つになります。
1. 人名や型番にひもづく、細かい事実
誕生日、肩書き、論文のタイトル、製品の型番、条文の番号。どれも「頻度が低くランダムな事実」に当たります。しかも日付や番号は形が整っているので、いちばん確認しやすいと錯覚しやすいのが厄介なところです。
2. 引用文と、その出典
Anthropicのヘルプが名指しで挙げている型です。権威がありそうに見え、説得力があるように聞こえるのに、事実に基づいていない引用を表示することがある、と書かれています。提案書に「◯◯によれば」と入れる場面は多いので、工程として押さえる価値があります。引用は、原文に当たれるかどうかだけで判定できます。
3. 最新の出来事や、いまの状況
これもAnthropicのヘルプの記載どおりで、最新の情報で学習していない可能性があり、時事について尋ねられると混乱することがある、とされています。制度の要件、料金表、他社の現行ラインナップ。定期的に書き換わるものは、この枠です。AIの中の知識がいつまでかは、AIはいつまでの知識で止まっているかで突き合わせています。
4. 回答が、詳しく具体的に見えるとき
四つ目だけ、性質が違います。1から3は「どんな話題か」ですが、これは「どんな見た目か」の話です。冒頭のAnthropicの規約が言っているのは、まさにここでした。
いわば、几帳面な字で書かれた伝票ほど、中身を検算しないまま通してしまうのと同じ現象です。数字の桁がそろい、単位が付き、備考欄まで埋まっていると、人はそこで安心します。AIの出力は、常にこの「几帳面な字」で出てきます。だから、見た目を判断材料から外す必要があります。
逆に、公式が「エラーはほとんどなくなる」と書いている領域もあります。つづりや括弧のように、一貫したパターンに従う事柄です。文章の整形、表記ゆれの統一、渡した文書の言い換えは、ここに近いことになります。材料をこちらから渡す仕事ほど、この話の影響は小さくなります。
業務で確かめる手順
ここからは対策です。具体的な手順を公式に書いているのはAnthropicで、開発者向けドキュメントに七つ挙げられています。専門的な言い回しを、日常の言葉に置き換えて紹介します。
基本の三つ
- 「分かりません」と言ってよいと、はっきり伝える|公式の表現では、不確実性を認める許可を明示的に与える、というものです。この単純な手法が誤情報を劇的に減らす、と書かれています。前半で見た「空欄を許さない評価」の裏返しに相当します
- 長い資料は、先に該当箇所をそのまま抜き出させる|長い文書(公式の目安は2万トークンを超える長さ)では、作業に入る前に一字一句そのままの引用を取り出させます。回答を本文に接地させることで、ハルシネーションが減るとされています
- 主張ごとに出典を挙げさせ、見つからないものは取り下げさせる|裏づけとなる引用を後から探させ、見つからなければその主張を撤回させる、という手順まで公式に書かれています
応用の四つ
残る四つは、理由を順番に説明させてから結論を出させる(筋の通らない論理や前提が表に出ます)、同じ質問を複数回投げて食い違いを見る(出力どうしが食い違えばハルシネーションの兆候かもしれない、とされています)、前の回答を材料に検証や補足をさせる、渡した資料の中だけを使うよう明示的に指定する、の四つです。
公式自身が付けている、限界の注記|同じドキュメントは、七つの手法を挙げた直後にこう書き添えています。これらの手法はハルシネーションを大きく減らすものの、完全に取り除くわけではありません。重要な情報、とりわけ影響の大きい判断では必ず検証してください、と。
| 公式に書かれている対策 | OpenAI | Anthropic | |
|---|---|---|---|
| 人が確認する | 記載あり | 記載あり | 記載あり |
| 出典を出させる・引用で裏づける | — | 記載あり | — |
| 「分かりません」を許す | 記載あり | 記載あり | — |
| 複数回まわして食い違いを見る | — | 記載あり | — |
| 渡した資料の中だけで答えさせる | — | 記載あり | — |
2026年8月23日時点の各社の公開文書の記載にもとづきます。「—」は該当する記載を確認できなかったという意味で、その手法が使えないという意味ではありません。
対策の書きぶりにも差があります。出典を出させることと、分かりませんを許すことを、具体的な手順として公式に書いているのはAnthropicだけでした。OpenAIとGoogleは、人による確認を中心に案内しています。どの製品でも手順は真似できるので、書いてある側の説明を借りるのが早道です。指示の出し方を社内で底上げしたい場合は、研修で教えるプロンプトの型に設計をまとめてあります。
仕組みで防ぐ|三つの層で受け止める
ここまでの手順を個人の心がけに任せると、忙しい日から崩れます。ですので、工程の側に置きます。整理すると、層は三つです。
第一層|聞き方を決めておく
前章の基本三つを、そのまま定型文にしてしまうのが早いです。「分からないところは分からないと書いてください」「根拠にした箇所を、原文のまま引用してください」「出典が見つからない主張は、外してください」。この三行を、社内でよく使う依頼文の末尾に貼り付けておきます。毎回考えるのではなく、貼るだけの形にするのがコツです。
第二層|材料を、こちらから渡す
Anthropicが挙げている「渡した資料の中だけを使わせる」という手法は、そのまま業務の設計になります。制度の要件を聞くなら要領のPDFを渡してから聞く。まるで新人に仕事を頼むときのように、先に手元の資料を渡してから依頼するという順番です。毎回貼り付けるのが手間になったら、社内の文書を根拠にして答えさせる仕組みを検討する段階で、考え方は社内ナレッジ検索の設計にまとめてあります。ただし、資料を渡せば間違いがゼロになる、とは公式のどこにも書かれていません。
第三層|人が確認する工程を、外さない
3社とも共通して書いているのが、この層です。OpenAIは規約で人による確認を求め、Anthropicはヘルプで唯一の真実の情報源として頼るべきではないと書き、Googleはヘルプで回答を二度確認するよう案内しています。そのうえでAnthropicの規約には、対象領域では有資格の専門家によるレビューとAI利用の開示が義務の形で書かれています。社外に出す文書を扱う業務なら、この二つを工程表に書き込むのが確実です。ルールの作り方は、生成AIの社内ガイドライン作成ガイドで扱っています。
「検索につなげば解決する」とは、書かれていません
ウェブ検索につなげばハルシネーションはなくなる、という説明を目にすることがありますが、3社のどの公式文書にも、そうは書かれていません。Anthropicは対策の直後に「完全に取り除くわけではない」と明記しており、利用者向けヘルプでは、ウェブ検索を使ったときも示された出典を確認するよう案内しています。
検索は、材料の出どころを外に移す仕組みです。ちょうど、参考文献リストが付いた報告書のように、たどれる先が増えるだけで、書かれた内容の正しさそのものを保証するものではありません。出典が並んでいるときほど、一つは開いて原文を見る。この一手間が、いちばん短時間で効きます。
私たちの見解|「分かりません」は性能不足の裏返しではない
一つ目は、AIに「分かりません」と言わせるのは、性能を落とすことではないということ。むしろ逆だとOpenAIは書いています。研究記事には、小規模モデルのほうがその限界を把握するのがより簡単である、という説明があります。そのうえで公式は、校正するために必要な計算能力は、正確であるために必要な計算能力よりもずっと少なくて済むと述べています。ここでいう校正とは、自信の度合いを正しく示すことです。正しく答えることより、正しく自信を示すことのほうが軽い。社内でAIの使い方を議論するときに、いちばん効く材料です。
二つ目は、この論点を公式に扱っているのはOpenAIだけだということ。3社の公開文書を当たった範囲では、Anthropic・Googleの資料に「モデルが自信の度合いを正しく示せるか」についての記載を見つけられませんでした。Anthropicが書いているのは、むしろその逆側です。詳しさや具体性のために正確に見えることがある、つまり見た目の自信は当てにならないという趣旨です。
三つ目は、この話は導入をためらう理由にはならないということ。間違いが出やすい場面は四つに絞れますし、確かめる手順は公式に書かれています。数字の読み方に不安があるなら、AIベンチマークの読み方もあわせてご覧ください。確認の工程をどこに置けばよいか迷われている場合は、無料相談で、いま社内で使っている質問の例をお持ちいただければ、その場で四つの場面のどれに当たるかを一緒に仕分けできます。
まとめ
- 前提|AIは多くの場面で調べていません。OpenAIの研究記事は、一貫したパターンではエラーがほとんどなくなる一方、頻度が低くランダムな事実は予測できないためハルシネーションにつながる、と説明しています
- なぜ自信満々か|標準的な学習と評価の手順が、不確実性を認めるよりも当て推量に報酬を出しているためです。白紙は確実にゼロ点、推測は当たることがある、という多肢選択テストと同じ構造です
- 見た目で判断できない|Anthropicの規約は、詳しさや具体性のために正確に見える場合であっても重大な誤りを含むことがある、と明記しています
- 3社の書き方|OpenAIは重要な決定への使用を禁止の形で、Anthropicは有資格者のレビューとAI利用の開示を義務の形で、Googleは注意喚起の形で書いています(2026年8月23日時点)
- 出やすい場面|人名や型番にひもづく細かい事実、引用とその出典、最新の出来事、そして回答が詳しく具体的に見えるとき
- 確かめる手順|「分かりません」を許す、長い資料は先に逐語引用を取り出させる、主張ごとに出典を出させ見つからなければ撤回させる。Anthropicが挙げている基本の三つです
- 限界|同じ公式ドキュメントが、これらは大きく減らすが完全には取り除かない、と書き添えています。「検索につなげば解決する」とは、どの会社も書いていません
AIが自信満々に間違えるのは、故障でも手抜きでもなく、作り方と評価のされ方から出てくる性質です。出力の見た目を判断材料から外し、原文に当たれるかどうかだけで判定する。この一点を社内で共有できれば、この記事の話はほぼ足ります。
よくある質問
Q1. AIは、聞かれたことを検索して答えているのではないのですか?
検索につながっている場面もありますが、それは追加の機能であって、AIの基本の動き方ではありません。OpenAIの研究記事は、つづりや括弧のように一貫したパターンがある事柄はほとんど間違えなくなる一方、ペットの誕生日のような頻度の低いランダムな事実は予測できないためハルシネーションにつながる、と説明しています。間違いは、手を抜いた結果ではなく作り方から出てくる性質です。回答に出典が並んでいれば外の情報を見に行ったと分かり、並んでいなければモデルの中にある内容だけで書かれた可能性が残ります。
Q2. ハルシネーションが少ないAIはどれですか?
3社を同じ条件で測った公式の比較表が、いまのところ存在しません。OpenAIは自社モデル同士の数値を公開していますが(2025年9月の研究記事)、他社と同じ条件で測ったものではなく、AnthropicとGoogleについては同種の数値を確認できませんでした。そのため、この記事でも順位づけはしていません。見るべきなのは発生率よりも、確かめる手順を業務に組み込めるかどうかです。出典を出させられるか、渡した資料の中だけで答えさせられるか、人が確認する工程を残せるか。この三つが回れば、どの製品でも受け止め方は同じ形になります。
Q3. ウェブ検索につなげば、間違いはなくなりますか?
なくなるとは、どの会社も書いていません。Anthropicの開発者向けドキュメントは、対策の手法を七つ挙げたうえで、これらは大きく減らすものの完全に取り除くわけではなく、影響の大きい判断では必ず検証するように、と明記しています。同社の利用者向けヘルプも、ウェブ検索を使ったときは示された出典を確認するよう案内しています。元のページには、要約に含まれない大事な文脈が残っていることがあるためです。検索は材料の出どころを外に移す仕組みであって、書かれた内容の正しさを保証する仕組みではありません。
Q4. 医療・法律・お金に関わることに使ってよいですか?
各社の規約に記載があり、書き方が三者三様です。OpenAIの利用規約は、信用・教育・雇用・住宅・保険・法律・医療など、個人に法的または重大な影響を与える目的で、その個人に関連するアウトプットを使用してはならない、と禁止の形で書いています。AnthropicのUsage Policyは、個人や消費者に直接影響する助言や判断に使う場合は有資格の専門家が最終決定の前にレビューしなければならない、また出力を直接提示する場合はAIを使っていることを開示しなければならない、と義務の形で書いています。Googleの規約は、医療・法律・金融その他の専門的な助言を本サービスに頼らないよう求める注意喚起の形です。これは各社の規約の記載であり、日本の法令についての説明ではありません。実際の運用は、必ずその分野の有資格の専門家にご確認ください。
参照元・出典
本記事は2026年8月23日に各社の公式ドメインで確認した記載にもとづきます。対象は研究記事・開発者向けドキュメント・利用規約・利用者向けヘルプの4種類で、第三者のまとめ記事は使用していません。公開情報で確認できなかった論点(3社の比較、Anthropic・Googleにおける自信の度合いの扱い)は、本文でも「確認できなかった」と書いています。
一次ソース(仕組みの説明)
- 言語モデルでハルシネーションがおきる理由(OpenAI・2025年9月公開)
- Reduce hallucinations(Anthropic 開発者向けドキュメント)
- Claude is providing incorrect or misleading responses(Anthropic ヘルプ)
一次ソース(規約・免責の記載)