「観測者バイアス」が科学を変えた——賢馬ハンスの実験が暴露する、AIモデルの性能評価における隠れた落とし穴

なぜ「賢馬ハンス」の物語が、現代のAI開発者に刺さるのか

1904年のベルリン。数学の問題に正答率95%で答えるウマが現れた。その名は「クレバー・ハンス」——賢馬ハンス。オーナーのヴィルヘルム・フォン・オステンが提示する計算問題に、ハンスは前足でタップすることで答えを示したのだ。心理学者、数学者、獣医師らが次々と検査に訪れ、この「驚異の馬」の能力を確認しようとした。

一見するとこれは動物知能の革新的発見に見えた。しかし、クイーンズ大学ベルファストの哲学者マティアーシュ・モラヴェツ氏が指摘した真実は、現代のAIシステム評価にそのまま適用される教訓を含んでいる。ハンスが「正しく見えた」のは、ウマの知能ではなく、観察者たち自身が無意識に与えていた信号だったのだ。

この歴史的エピソードは、単なる科学史の逸話ではない。深層学習モデルの性能評価からLLM（大言語モデル）のベンチマークテストまで、現代のテクノロジー業界が直面している「評価の盲点」を露呈させる鏡なのである。

賢馬ハンスの「計算能力」を破壊した、盲検法という武器

ハンスの謎を解いたのは、心理学者オスカル・プンクトが導入した、極めてシンプルな方法論だった。それは「ハンスが提示者を見えない条件下で問題を解くことができるか」を試すというものだ。

従来の検査では、オーナーや実験者がハンスに直接問いかけ、その様子を観察していた。ハンスはタップで答えを示すのだが、実はこの過程で、人間側の微妙な身体的反応——呼吸の変化、筋肉の緊張、視線の動き——がハンスの停止タイミングに影響を与えていたのである。ハンスは計算していなかったのだ。ハンスは「問題提示者の身体言語を読む」という、別の問題を完璧に解いていたのである。

プンクトがハンスを仕切りで分け、提示者が正答を知らない状況で問題を出させたとき、ハンスの正答率は劇的に低下した。この「盲検法」は、科学的方法論の根幹を変えた。そして今日、この教訓はAIモデルの性能評価においても等しく重要である。

現代AI評価における「ハンス効果」——データリークと評価バイアスの隠れた構造

大規模言語モデルやコンピュータビジョンシステムの評価では、テストデータセットに対する性能が指標とされる。しかし、以下のようなシナリオを考えてみよう:

トレーニングデータの汚染：評価用テストセットがトレーニング中に露出している（データリーク）
評価者の期待バイアス：テストを設計した人間が無意識に特定の結果を促すような条件を作る
ベンチマークの過学習：モデルが「テストに強い」ように最適化されるが、実務適用では失敗する

これらはすべて、「オーナーが無意識にハンスに信号を送っていた」のと同じメカニズムである。現代のAI開発企業は、モデルの性能を発表する際、しばしば自社環境での評価結果に大きく依存している。だが、独立した第三者による盲検的な検証がなければ、その数字は「ハンスの正答率95%」と本質的に同じ水準の信頼性しか持たない。

OpenAIがGPT-4の評価に外部レビュアーを招き入れたり、Google DeepMindが独立した検証プロセスを強調したりするのは、実はこの百年以上前の教訓への応答なのである。

「実験設計の民主化」への転換点——科学的検証がテックの信用基盤になる時代

賢馬ハンスの事件が科学にもたらした最大の貢献は、「正の結果よりも、その結果の信頼性を担保する方法論こそが価値である」という認識だった。この転換なしには、現代の科学的方法論は存在しない。

テクノロジー業界も同じ転機に立たされている。AI企業の信用は、もはや単に「性能が高い」という主張では担保されない。むしろ「その性能がどのような条件下で、どの程度の厳密性を持って測定されたのか」という透明性こそが、投資家、規制機関、エンドユーザーからの信頼を獲得する鍵となる。

EUのAI法やNISTのAI Risk Management Frameworkが、評価・テストプロセスの透明性と第三者検証を重視するのは、ハンスの歴史から遠く離れているように見えて、実は同じ問題系の中にある。観測者バイアスを排除しない限り、いかに高度なアルゴリズムも「計算できるウマ」に過ぎなくなる可能性があるのだ。