独立研究者 高木志郎さんインタビュー
Atlas of Judgment と科学の暗黙知
聞き手：丸山（メタサイエンスコミュニケーター）
独立研究者の高木志郎さんは、AI・機械学習のトップカンファレンスであるICLRの公開査読を大規模言語モデル（LLM）で分析し、分析結果をインタラクティブに探索できるウェブサイト「Atlas of Judgment」を制作・公開しました。2018〜2026年の約20万件の査読を含む公開記録から、評価の対象や根拠、著者への応答をたどる試みです。高木さんは、なぜAI研究の査読に着目し、このサイトを立ち上げたのか。その意図を聞きました。
Atlas of Judgmentのトップ画面。出典：Atlas of Judgment
Atlas of Judgmentとは何か
丸山： 今回作ったサイトについて教えてください。
高木： これは、機械学習の国際会議ICLR（International Conference on Learning Representations）の査読を分析して、図や個別の事例から見られるようにしたウェブサイトです。OpenReviewというプラットフォームで公開されている、2018〜2026年の約20万件の査読に加え、著者の回答などの文章をLLMに読ませて、一つのコメントに含まれる判断を取り出し、評価の対象や基準ごとに整理しました。例えば「新規性がない」という批判なら、具体的に何が既存研究と似ていると言っているのか、比較する文献を示しているのか、改善の提案はあるのか、といったことを調べています。
サイトでは、図を操作しながら、どんな批判が多いのか、分野や年によってどう違うのかを見られます。気になったところは、個別の論文や元の査読に戻ってたどれるようにしています。
丸山： 今回、査読を分析しようと思ったきっかけは何ですか。
高木： 直接のきっかけは、少し前に日本の政策に関するデータの可視化をやって、それが楽しかったことです。研究の評価自体にも、前から関心がありました。私はAIが研究する世界の実現を目指しているのですが、そのためにはまず、人間が実際に研究の何をどう評価しているのかを、ちゃんと理解する必要がある。自分でもそこを十分に調べていなかったので、一度見てみたかったんです。
以前、研究を評価するAIを作ったとき、私としては採択・不採択だけではない評価があるべきだと思っていました。でも実際にそれを研究者に使ってもらうと、「NeurIPSに通るか知りたい」「どこを改善すれば通るか知りたい」という反応でした。それはそうだよな、と。研究者の目の前の関心につながらないと、そもそも使ってもらいにくい。だから、トップカンファレンスの周辺で何かやりたいという気持ちはありました。
もう一つは、今の評価システムが持続可能なのかという問題意識です。査読システムが限界を迎えているなどとよく言われますが、「こう変えればいい」という答えはなかなかないですし、自分の中にもない。まず今どうなっているのかを、自分で咀嚼したかったんです。
丸山： ICLRを選んだのは、査読が公開されているからですか。
高木： はい。ICLRは採択されたものだけでなく、不採択になったものも含めて査読を見られる。うまくいった側だけでなく、そうでなかった側のデータも取れるので、ICLRに着目しました。
約20万件の査読から「判断の単位」を取り出す
丸山： 査読の分析自体には先行研究があると思いますが、今回の分析の特徴はどんなところにありますか。
高木： 査読スコアのばらつきなど、査読に関する統計的な分析はあります。そのうえで私が見たかったのは、査読のロジックです。何を見て、どういう根拠で、どんな判断をしているのか。「新規性がない」と言っているとき、それは具体的に何を意味していて、その後どうなるのか。
査読者が研究を評価するときに、具体的に何をしているのかを知りたかった。もっと上手に見たかったのですが、十分できなかったところもあります。今回は主に相関を見ていて、因果までわかるわけではありません。
Atlasでは、LLMが査読を読み、一つひとつの評価を「何を調べたか」「何を観察したか」「どの基準で判断したか」「どんな結論に至ったか」に分解します。例えば「既存手法に似ており、新規性が限定的」という批判なら、評価対象は新規性、観察は既存手法との類似、結論は貢献が漸進的だという判断になります。その間にある基準を、モデルが文脈から読み取る場合もあります。
データの取得・分析方法：方法説明
図1 査読の一節を四つに分解した例。③の判断基準には、査読文に明記されていない内容をモデルが解釈した部分があり、「査読者の頭の中」を直接観測したものではない。出典：Atlas of Judgment
丸山： 分析の角度や可視化の設計は、高木さんが決めて、AIに実行させているのですか。
高木： 基本的にはそうです。具体的な分析の実行方法は考えてもらったところも結構ありますが、「これが知りたいから、こういう分析をしよう」というところは私が決めています。データを見ながら、次に何を調べるかを考えていく形です。
集計だけでなく、個別の論文について、査読者ごとにどんな批判や肯定があり、著者の返答にどう応じたかも見られるようにしています。スコアが大きく分かれた論文では、どの評価項目で意見が対立しているのかを見られる。そういうミクロな見方が、個人的には好きです。
「新規性がない」という批判の根拠を問う
丸山： 新規性についての分析が印象的でした。どんなことが見えてきましたか。
高木： 査読者に「新規性がない」と言われた段階で、おしまい、という側面があります。今回の分析では、新規性がないと言いながら、「この先行研究と比べるべきだ」と具体的な文献を示していない査読コメントが多く見られました。既存研究の「単なる組み合わせだ」と言う場合でも、何を意味しているのかは一様ではありません。
そこで、その言葉に近い批判を集めて、どういう意味で「単なる組み合わせ」だと言っているのかを見ようとしました。さらに、査読者がどんな改善を求め、その後どういう行動を取ったのかも見ています。
公開サイトの集計では、元の査読文で位置を特定できた新規性批判24,233単位のうち、具体的な文献名を検出できたものは12.5％。先行研究への一般的な言及のみが24.6％、どちらも検出されなかったものが62.9％でした。引用は一定の書式で抽出しているため、書式に合わない参照を見落とす可能性はあります。また、9年間の新規性批判では、改善の提案が付かないものが約39％を占めます。新規性批判の分析
図2 新規性に関する批判の判断単位のうち、具体的な先行研究への参照が検出された割合。査読者の人数の割合ではない。出典：Atlas of Judgment
丸山： 新規性を大事にしているのに、根拠を説明せずに採否を決めているなら、査読が機能していないという問題提起もできそうです。
高木： 思うところはあります。ただ、査読者個人を責めてもどうしようもない部分がある。構造や時代の変化によってこうなっている、という伝え方もあると思います。
少なくとも、建設的な議論になっていない場合はあります。通すかどうかを決めるゲートになっているだけで、これだけの人を動員していて、それでいいのかとは思います。
丸山： 一方で、文書には根拠が書かれていなくても、査読者の中には暗黙の基準があり、新しいものを拾うように機能している可能性もありますね。
高木： それは十分あると思います。本当は、そういうところを細かく見たかったのですが、今回扱っているのは、あくまで文書にされたものなので限界もあります。書かれた判断と、その背後にあるものは分けて考える必要があります。
AIの登場後に見られた査読の言葉の変化
丸山： 時代による変化も見ていますね。
高木： 特定の単語が、査読の中にどれくらい出てくるかを調べました。それまでとは違う、非連続な変化が見えます。ただ、単語の選び方にはバイアスがあり得ますし、この変化をAIの影響だと断定できるわけではありません。
この分析では、先行研究に基づく13語のリストを集計前に固定し、そのうち一語以上を含む査読の割合を年ごとに調べたところ、割合が2024年に跳ね上がり、2026年にはまた落ち着いています。
図3 実線は13語のいずれかを含む査読の割合、破線は2018〜2022年の傾向からの予測。AIを使用した査読の割合を直接測ったものではなく、その後の低下もAI利用の減少を意味するとは限らない。出典：Atlas of Judgment。
丸山： AIを使って書いたからなのか、AIの登場に査読者が反応して言葉遣いが変わったのか。
高木： そう、この分析だけでは両者は区別できません。私はChatGPTを使っているからではないかという気はしますが、それだけでは絞れません。
やってみたけれど、面白い結果が出なかった分析も載せています。一度「こうだ」と思って出したものが、後から違うとわかった場合も、改訂の記録を残すようにしています。
丸山： 研究としての厳密さという点では、どこに課題がありますか。
高木： データの分割をもっときちんとすることや、ほかの会議にも広げることなどです。一部のデータで見つけたことを全体で見るのではなく、別のデータで検証する必要がある。一方で、後から見つけたことを、最初から仮説として持っていたようには書かないようにしました。そうしたQRP（Questionable Research Practices：疑わしい研究行為）を避けることには気をつけました。
これを研究の水準に高めるには、もっとやらなければならないところが残っています。ただ、その限界を踏まえたうえで、今後発表していくことなどは考えてもよいと思います。
格差を生む「集合的な暗黙知」
丸山： 査読文だけでは引き出せないものがあるという話は、かつてマイケル・ポランニーが提起したような科学コミュニティの暗黙知につながりますね。
高木： 論文だけでは実際の研究のやり方がわからず、研究過程のデータが必要だという話に近いと思います。査読も、どう考えたかという過程が残っていれば、もっと拾えるかもしれない。
これだけ時間を使っているのに、科学のやり方に関する知識が、暗黙知としてしか蓄積されないのは大きな損失です。上手に記録できれば、研究教育もずっと楽になるのではないかと思います。
丸山： ただ、暗黙知があるからそれに委ねればよい、というわけでもない。何が明示できて、何が残るのかを切り分ける必要がありそうです。
高木： 暗黙知があることを前提に、それをよしとするのか、原理的に避けられないのか、どの部分なら取り出せるのかを議論できると思います。それはAIに研究をさせるうえでも重要です。
例えばNeurIPSに通る論文なら、これくらいのベンチマークやデータセットで、これくらいの実験をするよね、という暗黙の合意がある。明文化されていなくても、みんな何となく「ここまでやっていれば強い」とわかっている。でも、それは分野やコミュニティによって違います。
AIに素朴に「研究をして」と頼むと、簡単なデータで実験してしまうことがある。トップカンファレンスに通るくらいの検証の強さは、私たちにとって暗黙知なんです。今なら、それをスキルやワークフローに組み込んでやらせますが、コミュニティからもっと積極的に引き出すことも必要だと思います。
丸山： 人間でも同じですね。経験者が近くにいない学生は、求められる検証の水準がわからない。大きな研究室なら、その知識を教えてもらえます。
高木： それは明確にあります。アイデアもやっていることも面白いのに、「これは通らないだろうな」という研究をたくさん見ました。文章の書き方や検証の強さなど、積極的に学びに行くか、経験者が近くにいないと身につけにくいものがあります。
実際にどう評価しているのかというデータを持っていれば、AIに研究させるときの質も上がるかもしれない。そこは、実際に使って見ていきたいです。
通る論文の先にどんな科学を作るか
丸山： 集合的暗黙知がAIから利用できるようになると、AIが「通る論文」を大量に書くこともできて、それによってコミュニティ側の基準も変わっていく可能性があります。高木さんが共著者となっている、CPC（Collective Predictive Coding：集合的予測符号化）によって科学を捉えるモデルの観点からも、個々のエージェントと集団の変化がつながるところが気になります。
高木： それはあり得ると思います。そもそも今でも、論文を通すことはゲームだと思っています。科学的に重要かどうかとは別の層に、そこに通るかどうかを決める何かがあり、その情報に近い人が有利になる。そういう意味でのゲームです。
まず、それがゲームであり、ハッキングされ得るものだと認める。そのうえで、科学にとってよいゲームをどう設計するかを議論するべきだと思います。
丸山： 今の仕組みを可視化することが、望ましい仕組みを考える出発点になるわけですね。
高木： 科学にとってのよさにもいろいろあるので、唯一の正解があるとは思いません。ただ、それぞれ「こういうほうがよい」という考えはある。私も、自分の考えをまとめているところです。
同時に、文章を書くことに加えて、実際に動くもの、影響を与えるものがあるかどうかが大きいと思っています。研究の情報の持ち方も、将来は変わるはずです。でも、いきなり理想的な形式を提示しても使ってもらえません。まずはこういう分析も通して、少しずつそのプロトタイプになるようなものを作っていきたいんです。
本記事はZoomでのインタビューをもとに、発言の趣旨を保ちながら構成したものです。図版出典：高木志郎「Atlas of Judgment」（サイト掲載条件に基づきCC BY 4.0で利用）。 利用条件