LLMはありもしない規則性を見いだすか？ AIにも人間と同様の「種族のイドラ」

　社会での活用が急速に広がりつつあるAI。なかでも、「言語」を理解・生成する能力に特化し、能力膨大な量のテキストデータを学習した大規模言語モデル（Large Language Model, LLM）は、文章生成・要約・翻訳・質問応答・チャットボット・感情分析など、言語に関する幅広い業務やサービスに活用されている。だが、彼らも人間同様の誤った認識をするとしたら･･･｡

　立教大学大学院人工知能科学研究科 (東京) の石川真之介 特任准教授、大庭弘継 特任教授、株式会社豆蔵 (東京) の藤堂真登氏、荻原大樹氏による研究グループは、大規模言語モデルが、与えられた情報に対し、実際には存在しない誤った規則性を見いだしてしまうことを発見した。人間における同様の傾向は、イギリスの哲学者フランシス・ベーコンにより「種族のイドラ」という用語で指摘されている。今回の発見は、AIにも人間と同様の「種族のイドラ」が見られることを示した結果と言えるという。

　LLMが社会で活用される中で、ハルシネーションと呼ばれる、誤った情報を出力する現象が問題となっており、出力の妥当性を自己検証する仕組みや、必要な情報を検索して参照する仕組み等が提案されている。これらの対応は、「適切な情報を参照できていれば、ハルシネーションのような誤った出力は起こらない」ということが前提となっていると考えられる。

　この前提が正しいかどうかを確認するため、研究グループは知識の有無によらずに誤った出力の有無を確認する方法として、与えた数列の規則性をLLMに説明させる、という実験を実施。数列には、等差数列のような簡単な規則性を持つ数列から、完全にランダムな数列まで、複数のカテゴリの数列を用いて実験を行った。

　用意した数列の規則性を5つのLLM（OpenAI o3, o4-mini, GPT-4.1, Meta Llama 3.3, Google Gemini 2.5 Flash Preview Thinking）に説明させたところ、すべてのモデルについて、誤った規則性を説明することがあったという。つまりこの場合、数列の構成要素全てを説明することができない、誤った規則性があるかのような錯覚に陥ってしまっているということになる。このような挙動は、LLMの活用において、注意すべき事項となると研究グループは言う。

　哲学者フランシス・ベーコンは、著書『ノヴム・オルガヌム』の中で、人間には「種族のイドラ」が存在すると書いている。

　「人間は知性のその固有の性質から、それが見出す以上の秩序と斉一性とを、容易に事物のうちに想定するものである。そして自然においては、多くのものが個性的で不等であるのに、知性は実際にはありもしない並行的なもの、対応的なもの、相関的なものがあると想像する」（桂寿一訳）

　今回の研究で発見された、LLMが「一見それらしいが、すべての値を説明できない誤った規則性」を見いだしてしまうという現象は、まさにこの「種族のイドラ」と同種の現象がAIについても起きているということになる。実験対象とした5つのモデル全てでこの現象が見られたことは、「種族のイドラ」が人類という種族全体に共通するものであるのと同様に、まさに LLMという「種族」に対するイドラが存在していると考えられるという。

　社会においてLLMの活用が広がっている中で、LLMの信頼性に対し、今回の研究で発見されたようなリスクを認識することは重要だ。研究グループでは、リスクを認識した上で、リスクを低減する方法を検討する、もしくはリスクを許容できるタスクに絞って活用していく等、LLMの性質を十分理解した上での活用が広がっていくことが期待される——と今後の展望を述べている。