2026.08.31 · 19分で読める

AIが自信満々に間違えるのはなぜか|仕組みと、業務で防ぐ手順

「AIは、聞かれたことをその場で調べて答えている」。生成AIを仕事に入れ始めた方が、最初に持つ前提です。ところが実際には、AIは多くの場面で調べていません。調べずに、それらしい文章を組み立てています。厄介なのは、その文章が詳しくて具体的なほど、正しく見えてしまうことです。この、もっともらしく聞こえるが正しくない出力を、ハルシネーションと呼びます。

Anthropicの利用規約には、この点がそのまま書かれています。「Outputs may not always be accurate and may contain material inaccuracies even if they appear accurate because of their level of detail or specificity.(アウトプットは常に正確とは限らず、その詳しさや具体性のために正確に見える場合であっても、重大な誤りを含むことがあります)」。詳しく書かれているから正しい、という読み方は通用しない。提供する側が規約の本文でそう明記しています。

この記事は、AIが自信ありげに間違える仕組みを、OpenAI・Anthropic・Googleの公式資料だけを根拠に整理します。どのAIが間違えにくいかという比較はしません。3社を同じ条件で比べた公式の材料が存在しないためです。記載はすべて2026年8月23日時点の公開情報にもとづきます。

先に、三つの問いに短く答えます

問1「なぜ間違えるのか」|OpenAIの研究記事は、標準的な学習と評価の手順が、不確実性を認めるよりも当て推量に報酬を出しているためだ、と説明しています。

問2「なぜ自信満々に見えるのか」|見た目の自信と中身の正しさは連動していません。Anthropicは規約で「詳しさや具体性のために正確に見える場合でも、重大な誤りを含むことがある」と書いています。

問3「では何をすればいいか」|聞き方・材料・工程の三つの層で受け止めます。手順を公式に書いているのはAnthropicで、「分かりません」を許す、逐語引用で裏づける、主張ごとに出典を出させる、の三つが基本です。

AIは調べて答えているわけではない

最初に、いちばん多い思い違いをほどいておきます。チャット画面に質問を打ち込むと、AIがどこかの資料を探しに行き、見つけた内容を要約して返してくれる。多くの方がそう想像しています。検索につながっている製品もあるので半分は当たっていますが、検索は後から足された機能であって、基本の動き方ではありません。

OpenAIが公開している言語モデルでハルシネーションがおきる理由という研究記事は、この現象を「モデルが正しくない回答を自信を持って生成するという現象」と定義しています。定義の中にすでに「自信を持って」が入っている点が、この話の要です。

AIが答えを作る流れの、思い違いと公式の説明の違い 多くの人が思っている姿は、質問を受け取り、資料を探しに行き、見つけた内容を答えるという流れ。公式が説明している姿は、質問を受け取り、学習した内容から続きを組み立て、文章として整えるという流れ。AIは資料を探しているのではなく続きを組み立てている、という違いを左右に並べた図 「調べて答えている」わけではない 思っている姿 公式の説明 質問を受け取る 質問を受け取る 資料を探しに行く 続きを組み立てる 見つけた内容を答える 文章として整える 資料を探しているのではなく 続きを組み立てている OpenAIの研究記事(2025年9月公開)の説明にもとづく AI Lab OISHI

覚えられる事実と、覚えられない事実がある

同じ研究記事は、学習の段階で何が起きているかを、画像の分類にたとえて説明しています。数百万枚の猫と犬の写真に「猫」または「犬」のラベルが付いていれば、アルゴリズムは確実に分類できるようになる。ところが、それぞれの写真にペットの誕生日のラベルが付いていたらどうなるか。誕生日は基本的にランダムなので、いかに進化しても常にエラーが出る、というのが公式の説明です。

そのうえで、記事はこう続けます。つづりや括弧は一貫性のあるパターンに従っているため、それらのエラーはほとんどなくなる。ところが、ペットの誕生日のように頻度が低くランダムな事実は、パターンからだけでは予測できないため、ハルシネーションにつながる。AIが間違えるのは、手を抜いたからではなく、作り方から出てくる性質です。

身近なものにたとえるなら、文法は完璧に身についているのに、初対面の人の誕生日だけは知りようがないのと同じ状態です。文法の側は毎回きれいに整うので、出てきた文章は例外なく読みやすい。読みやすさは、中身の裏づけとは別のところで作られています。

研究記事には、実際に起きた例も載っています。人気のチャットボットに、この報告書の著者であるAdam Tauman Kalai氏の博士論文のタイトルを尋ねたところ、自信を持って三つの異なる回答が提示され、どれも正しくなかった。誕生日を尋ねたときも三つの異なる日付が示され、やはりどれも正しくなかった、というものです。三回とも違う答えが返り、三回とも自信ありげだった。見た目の確からしさが当てにならない、という一例です。

なぜ自信がありそうに見えるのか

「知らないなら、知らないと言えばいいのに」と誰もが思います。OpenAIの研究記事は、その理由を正面から説明しています。言語モデルでハルシネーションがおきるのは、標準的な学習と評価の手順により、不確実性を認めるよりも、当て推量のほうに報酬が出るためだ、というのが結論です。

公式が使っている比喩は、そのまま引用するのがいちばん分かりやすいので、そうします。「これは多肢選択のテストのようなものです。答えがわからなくても、運が良ければ当てずっぽうで正解になるかもしれません。空のままにすれば間違いなくゼロ点です。これと同じように、モデルを正確性、つまり正しく回答した質問の割合についてのみ評価すると、モデルは『分かりません』と回答する代わりに推測することを選ぶようになります」。

もう一つの例も挙げられています。誰かの誕生日を知らないとき、「9月10日」と推測すれば365分の1で当たるが、「分かりません」ではゼロ点。数千の質問を重ねると、スコア上は慎重なモデルより推量するモデルのほうが良く見えてしまう、というわけです。

当て推量のほうが点数が高くなる採点の仕組みと、公式が示した三つの数値 分かりませんと答えると確実にゼロ点、推測すれば当たることがあるため、同じ採点なら埋めたほうが得になる。OpenAIの研究記事が示したSimpleQAの数値では、gpt-5-thinking-miniは棄権率52パーセント・正解22パーセント・誤り26パーセント、OpenAI o4-miniは棄権率1パーセント・正解24パーセント・誤り75パーセント。正解の割合はほぼ同じでも誤りの割合が大きく開くことを示した図 当てずっぽうのほうが、点数が高くなる 「分かりません」 確実に0点 当てずっぽう 当たれば加点 同じ採点なら、埋めたほうが得になる 公式が示した数値 棄権率 正解 誤り gpt-5-thinking-mini 52% 22% 26% OpenAI o4-mini 1% 24% 75% 正解の割合はほぼ同じでも 誤りの割合は大きく開く 2025年9月公開の研究記事の数値です 2モデルとも提供終了・現行世代ではありません AI Lab OISHI

研究記事には、この構造が数字で表れた例も載っています。SimpleQAという評価で、gpt-5-thinking-miniは棄権率(回答を提示しない割合)が52%、正解が22%、誤りが26%。OpenAI o4-miniは棄権率が1%、正解が24%、誤りが75%でした。公式の解釈は、正確性では古いo4-miniのほうが少し良いがエラー率は非常に高い、というものです。

この数値は2025年9月に公開された研究記事のもので、対象も当時のモデルです。現行世代の性能を示すものではありません。見ていただきたいのは数字の大小ではなく、「正解の割合を上げること」と「誤りを減らすこと」が別々の話だという構造のほうです。

自信のある新人の報告書に、よく似ています

この仕組みは、人の組織にも見覚えがあるはずです。分からないと言うと評価が下がる職場に入った、自信のある新人を想像してみてください。空欄で出せば減点され、それらしく埋めて出せば、当たっていれば加点、外れても指摘されるまでは気づかれません。しかも新人は真面目なので、書式は整い、口調は落ち着いていて、根拠がある箇所とない箇所が同じ丁寧さで並びます。

問題はその新人の人格ではなく、空欄を許さない評価の仕組みのほうです。AIに起きているのも同じことだとOpenAIは説明しています。だから対処も同じで、「分かりませんと書いてよい」と先に伝えることになります。

公式が正面から否定している三つの思い込み

同じ研究記事には、よくある誤解を主張と調査結果の形で並べた箇所があります。「正確性を上げれば間違いは消える」に対しては、モデルのサイズや検索および推論の能力にかかわらず正確性が100%に達することは決してない、現実の一部の質問は本質的に回答不可だから、という回答。「防ぎようがない」に対しては、不確かな場合に回答を控えられるので防ぐことはできる、という回答です。ゼロにはならないが、付き合い方は決められる、ということになります。

各社は公式に何と書いているか

「AIは間違えることがある」という点は、3社とも公式に認めています。ただし、書き方の温度がかなり違います。社内でルールを作るときに、この違いはそのまま使えます。

Anthropic|「詳しいから正しい」を規約で否定している

冒頭で引用した一文は、AnthropicのConsumer Terms of Serviceにあります。同じ箇所には、独立して正確性を確認することなくアウトプットに依拠すべきではない、という記載も並びます。開発者向けのハルシネーションを減らすためのドキュメントにも、最先端の言語モデルでさえ事実として正しくない文章を生成することがある、と書かれています。

利用者向けのヘルプページには、間違いの型がもう少し具体的に挙げられています。時事について尋ねられると混乱することがあること。権威がありそうに見え、説得力があるように聞こえるのに、事実に基づいていない引用を表示することがあること。正しく見えるのに、大きく間違っていることを書く場合があること。

OpenAI|「唯一の情報源にしない」と規約に書いている

OpenAIの利用規約(日本語版)には、「アウトプットは常に正確であるとは限りません。お客様は、本サービスからのアウトプットを、真実又は事実に基づく情報の唯一の情報源として、又は専門家のアドバイスの代わりとして依拠すべきではありません」という一文があります。使用や共有の前に、必要に応じて人による確認を行うよう求める記載も続きます。

Google|「二度確認してください」と案内している

Generative AI Additional Terms of Serviceには、本サービスが不正確な内容を提供することがあり、それはGoogleの見解を表すものではない、という趣旨の記載があります。利用者向けのGemini Appsのヘルプはもっと平易で、Gemini Appsは間違えることがあるので回答を二度確認し、専門的な助言について回答に頼らないように、と書かれています。

免責の書き方は、三者三様です

3社の免責の書き方の違い OpenAIは重要な決定に使ってはならないという禁止の形、Anthropicは有資格者のレビューとAI利用の開示を求める義務の形、Googleは専門的な助言には頼らないよう求める注意喚起の形で書いている。いずれも、そのまま使ってよいとは書いていないことを示した図 同じ注意でも、書き方の強さが違う OpenAI 禁止の形 重要な決定に使ってはならない Anthropic 義務の形 有資格者のレビューとAI利用の開示 Google 注意喚起の形 専門的な助言には頼らないよう求める そのまま使ってよいとは、どこも書いていない 優劣ではなく、書き方の違いです 2026年8月23日時点の公開文書 AI Lab OISHI

とくに目を引くのがAnthropicのUsage Policyです。他社が「頼らないでください」と注意を促すのに対し、こちらは義務の形で書かれています。個人や消費者に直接影響する助言・推奨・主観的な判断に使う場合、その分野の有資格の専門家が、配布または最終決定の前にレビューしなければならない。出力を直接提示する場合は、AIを使っていることを、少なくとも各セッションの冒頭で開示しなければならない。この二つです。

提供元 書き方 挙げられている領域
OpenAI 禁止(使用してはならない) 信用・教育・雇用・住宅・保険・法律・医療など、個人に法的または重大な影響を与える目的
Anthropic 義務(有資格者のレビュー+AI利用の開示) 法解釈、医療上の判断と診断、各種保険の判断、金融上の判断と投資助言、雇用と住宅の適格性判定、学力試験と入学審査、報道系コンテンツの生成
Google 注意喚起(頼らないでください) 医療・法律・金融その他の専門的な助言(API向けの規約では、これにメンタルヘルスが加わります)

2026年8月23日時点の各社の公開文書の記載にもとづきます。ここで整理したのは各社の規約に書かれていることであり、日本の法令についての説明ではありません。実際の運用については、必ずその分野の有資格の専門家にご確認ください。

この表の目的は、優劣をつけることではありません。いちばん強い書き方に社内ルールを合わせておけば、どの製品を使っても足りるという読み方が、実務では役に立ちます。規約の読み方をもう一段広げたい場合は、AIが作った文章や画像を仕事で使ってよいかもご覧ください。

間違いが出やすい場面

ここまでの説明から、危ない場面は自然に絞り込めます。公式資料が挙げているものだけを並べると、次の四つになります。

間違いが出やすい四つの場面 人名や型番にひもづく細かい事実、引用文とその出典、最新の出来事やいまの状況、回答が詳しく具体的に見えるとき、の四つが間違いの出やすい場面。一方で規則が一貫した事柄ではほとんど起きないと公式が説明していることを示した図 間違いが出やすいのは、どんな場面か 1 人名や型番にひもづく細かい事実 2 引用文と、その出典 3 最新の出来事や、いまの状況 4 回答が詳しく具体的に見えるとき 規則が一貫した事柄では ほとんど起きない(公式の説明) AI Lab OISHI

1. 人名や型番にひもづく、細かい事実

誕生日、肩書き、論文のタイトル、製品の型番、条文の番号。どれも「頻度が低くランダムな事実」に当たります。しかも日付や番号は形が整っているので、いちばん確認しやすいと錯覚しやすいのが厄介なところです。

2. 引用文と、その出典

Anthropicのヘルプが名指しで挙げている型です。権威がありそうに見え、説得力があるように聞こえるのに、事実に基づいていない引用を表示することがある、と書かれています。提案書に「◯◯によれば」と入れる場面は多いので、工程として押さえる価値があります。引用は、原文に当たれるかどうかだけで判定できます

3. 最新の出来事や、いまの状況

これもAnthropicのヘルプの記載どおりで、最新の情報で学習していない可能性があり、時事について尋ねられると混乱することがある、とされています。制度の要件、料金表、他社の現行ラインナップ。定期的に書き換わるものは、この枠です。AIの中の知識がいつまでかは、AIはいつまでの知識で止まっているかで突き合わせています。

4. 回答が、詳しく具体的に見えるとき

四つ目だけ、性質が違います。1から3は「どんな話題か」ですが、これは「どんな見た目か」の話です。冒頭のAnthropicの規約が言っているのは、まさにここでした。

いわば、几帳面な字で書かれた伝票ほど、中身を検算しないまま通してしまうのと同じ現象です。数字の桁がそろい、単位が付き、備考欄まで埋まっていると、人はそこで安心します。AIの出力は、常にこの「几帳面な字」で出てきます。だから、見た目を判断材料から外す必要があります。

逆に、公式が「エラーはほとんどなくなる」と書いている領域もあります。つづりや括弧のように、一貫したパターンに従う事柄です。文章の整形、表記ゆれの統一、渡した文書の言い換えは、ここに近いことになります。材料をこちらから渡す仕事ほど、この話の影響は小さくなります

業務で確かめる手順

ここからは対策です。具体的な手順を公式に書いているのはAnthropicで、開発者向けドキュメントに七つ挙げられています。専門的な言い回しを、日常の言葉に置き換えて紹介します。

基本の三つ

応用の四つ

残る四つは、理由を順番に説明させてから結論を出させる(筋の通らない論理や前提が表に出ます)、同じ質問を複数回投げて食い違いを見る(出力どうしが食い違えばハルシネーションの兆候かもしれない、とされています)、前の回答を材料に検証や補足をさせる渡した資料の中だけを使うよう明示的に指定する、の四つです。

公式自身が付けている、限界の注記|同じドキュメントは、七つの手法を挙げた直後にこう書き添えています。これらの手法はハルシネーションを大きく減らすものの、完全に取り除くわけではありません。重要な情報、とりわけ影響の大きい判断では必ず検証してください、と。

公式に書かれている対策 OpenAI Anthropic Google
人が確認する 記載あり 記載あり 記載あり
出典を出させる・引用で裏づける 記載あり
「分かりません」を許す 記載あり 記載あり
複数回まわして食い違いを見る 記載あり
渡した資料の中だけで答えさせる 記載あり

2026年8月23日時点の各社の公開文書の記載にもとづきます。「—」は該当する記載を確認できなかったという意味で、その手法が使えないという意味ではありません。

対策の書きぶりにも差があります。出典を出させることと、分かりませんを許すことを、具体的な手順として公式に書いているのはAnthropicだけでした。OpenAIとGoogleは、人による確認を中心に案内しています。どの製品でも手順は真似できるので、書いてある側の説明を借りるのが早道です。指示の出し方を社内で底上げしたい場合は、研修で教えるプロンプトの型に設計をまとめてあります。

仕組みで防ぐ|三つの層で受け止める

ここまでの手順を個人の心がけに任せると、忙しい日から崩れます。ですので、工程の側に置きます。整理すると、層は三つです。

仕組みで防ぐ三つの層 第一層は聞き方で、分かりませんを許し主張ごとに出典を出させる。第二層は材料で、渡した資料の中だけで答えるよう指定する。第三層は工程で、人の確認を工程に残しAI利用を伝える。三つとも完全になくす方法ではなく、公式も完全には無くならないと書いていることを示した図 一人の注意ではなく、三つの層で受け止める 1 聞き方 「分かりません」を許し、出典を出させる 2 材料 渡した資料の中だけで答えさせる 3 工程 人の確認を残し、AI利用を伝える 三つとも、完全になくす方法ではない 公式も、そう書いています AI Lab OISHI

第一層|聞き方を決めておく

前章の基本三つを、そのまま定型文にしてしまうのが早いです。「分からないところは分からないと書いてください」「根拠にした箇所を、原文のまま引用してください」「出典が見つからない主張は、外してください」。この三行を、社内でよく使う依頼文の末尾に貼り付けておきます。毎回考えるのではなく、貼るだけの形にするのがコツです。

第二層|材料を、こちらから渡す

Anthropicが挙げている「渡した資料の中だけを使わせる」という手法は、そのまま業務の設計になります。制度の要件を聞くなら要領のPDFを渡してから聞く。まるで新人に仕事を頼むときのように、先に手元の資料を渡してから依頼するという順番です。毎回貼り付けるのが手間になったら、社内の文書を根拠にして答えさせる仕組みを検討する段階で、考え方は社内ナレッジ検索の設計にまとめてあります。ただし、資料を渡せば間違いがゼロになる、とは公式のどこにも書かれていません

第三層|人が確認する工程を、外さない

3社とも共通して書いているのが、この層です。OpenAIは規約で人による確認を求め、Anthropicはヘルプで唯一の真実の情報源として頼るべきではないと書き、Googleはヘルプで回答を二度確認するよう案内しています。そのうえでAnthropicの規約には、対象領域では有資格の専門家によるレビューAI利用の開示が義務の形で書かれています。社外に出す文書を扱う業務なら、この二つを工程表に書き込むのが確実です。ルールの作り方は、生成AIの社内ガイドライン作成ガイドで扱っています。

「検索につなげば解決する」とは、書かれていません

ウェブ検索につなげばハルシネーションはなくなる、という説明を目にすることがありますが、3社のどの公式文書にも、そうは書かれていません。Anthropicは対策の直後に「完全に取り除くわけではない」と明記しており、利用者向けヘルプでは、ウェブ検索を使ったときも示された出典を確認するよう案内しています。

検索は、材料の出どころを外に移す仕組みです。ちょうど、参考文献リストが付いた報告書のように、たどれる先が増えるだけで、書かれた内容の正しさそのものを保証するものではありません。出典が並んでいるときほど、一つは開いて原文を見る。この一手間が、いちばん短時間で効きます。

私たちの見解|「分かりません」は性能不足の裏返しではない

一つ目は、AIに「分かりません」と言わせるのは、性能を落とすことではないということ。むしろ逆だとOpenAIは書いています。研究記事には、小規模モデルのほうがその限界を把握するのがより簡単である、という説明があります。そのうえで公式は、校正するために必要な計算能力は、正確であるために必要な計算能力よりもずっと少なくて済むと述べています。ここでいう校正とは、自信の度合いを正しく示すことです。正しく答えることより、正しく自信を示すことのほうが軽い。社内でAIの使い方を議論するときに、いちばん効く材料です。

二つ目は、この論点を公式に扱っているのはOpenAIだけだということ。3社の公開文書を当たった範囲では、Anthropic・Googleの資料に「モデルが自信の度合いを正しく示せるか」についての記載を見つけられませんでした。Anthropicが書いているのは、むしろその逆側です。詳しさや具体性のために正確に見えることがある、つまり見た目の自信は当てにならないという趣旨です。

三つ目は、この話は導入をためらう理由にはならないということ。間違いが出やすい場面は四つに絞れますし、確かめる手順は公式に書かれています。数字の読み方に不安があるなら、AIベンチマークの読み方もあわせてご覧ください。確認の工程をどこに置けばよいか迷われている場合は、無料相談で、いま社内で使っている質問の例をお持ちいただければ、その場で四つの場面のどれに当たるかを一緒に仕分けできます。

まとめ

AIが自信満々に間違えるのは、故障でも手抜きでもなく、作り方と評価のされ方から出てくる性質です。出力の見た目を判断材料から外し、原文に当たれるかどうかだけで判定する。この一点を社内で共有できれば、この記事の話はほぼ足ります。

よくある質問

Q1. AIは、聞かれたことを検索して答えているのではないのですか?

検索につながっている場面もありますが、それは追加の機能であって、AIの基本の動き方ではありません。OpenAIの研究記事は、つづりや括弧のように一貫したパターンがある事柄はほとんど間違えなくなる一方、ペットの誕生日のような頻度の低いランダムな事実は予測できないためハルシネーションにつながる、と説明しています。間違いは、手を抜いた結果ではなく作り方から出てくる性質です。回答に出典が並んでいれば外の情報を見に行ったと分かり、並んでいなければモデルの中にある内容だけで書かれた可能性が残ります。

Q2. ハルシネーションが少ないAIはどれですか?

3社を同じ条件で測った公式の比較表が、いまのところ存在しません。OpenAIは自社モデル同士の数値を公開していますが(2025年9月の研究記事)、他社と同じ条件で測ったものではなく、AnthropicとGoogleについては同種の数値を確認できませんでした。そのため、この記事でも順位づけはしていません。見るべきなのは発生率よりも、確かめる手順を業務に組み込めるかどうかです。出典を出させられるか、渡した資料の中だけで答えさせられるか、人が確認する工程を残せるか。この三つが回れば、どの製品でも受け止め方は同じ形になります。

Q3. ウェブ検索につなげば、間違いはなくなりますか?

なくなるとは、どの会社も書いていません。Anthropicの開発者向けドキュメントは、対策の手法を七つ挙げたうえで、これらは大きく減らすものの完全に取り除くわけではなく、影響の大きい判断では必ず検証するように、と明記しています。同社の利用者向けヘルプも、ウェブ検索を使ったときは示された出典を確認するよう案内しています。元のページには、要約に含まれない大事な文脈が残っていることがあるためです。検索は材料の出どころを外に移す仕組みであって、書かれた内容の正しさを保証する仕組みではありません。

Q4. 医療・法律・お金に関わることに使ってよいですか?

各社の規約に記載があり、書き方が三者三様です。OpenAIの利用規約は、信用・教育・雇用・住宅・保険・法律・医療など、個人に法的または重大な影響を与える目的で、その個人に関連するアウトプットを使用してはならない、と禁止の形で書いています。AnthropicのUsage Policyは、個人や消費者に直接影響する助言や判断に使う場合は有資格の専門家が最終決定の前にレビューしなければならない、また出力を直接提示する場合はAIを使っていることを開示しなければならない、と義務の形で書いています。Googleの規約は、医療・法律・金融その他の専門的な助言を本サービスに頼らないよう求める注意喚起の形です。これは各社の規約の記載であり、日本の法令についての説明ではありません。実際の運用は、必ずその分野の有資格の専門家にご確認ください。

参照元・出典

本記事は2026年8月23日に各社の公式ドメインで確認した記載にもとづきます。対象は研究記事・開発者向けドキュメント・利用規約・利用者向けヘルプの4種類で、第三者のまとめ記事は使用していません。公開情報で確認できなかった論点(3社の比較、Anthropic・Googleにおける自信の度合いの扱い)は、本文でも「確認できなかった」と書いています。

一次ソース(仕組みの説明)

一次ソース(規約・免責の記載)

← Blog一覧へ