何が起きたか

OpenAI（ChatGPTを作るAI企業）が数学の成果を発表した後、数学者Andreas Thomが、未発表研究をAIに相談することの信頼性を問いかけた。Mastodonへの投稿で、Thomは、自分と同僚がGábor Kunとの研究の延長をChatGPTで話していたと説明している。その会話が学習データに入ったのか、AIが成果を考えるときに使ったのかを、OpenAIの研究者に尋ねたという。投稿はHacker Newsにも掲載され、275 points、399 commentsを集めた。ただし、これはコミュニティの注目度であり、Thomの疑いの正しさを示す数字ではない。

背景：OpenAIが発表した数学の成果

OpenAIは8月1日、内部版Astraが長年の未解決問題について10件の成果を出したと発表した。その中に、non-sofic groupsの存在に関する結果がある。これは、ざっくり言えば、有限のものではうまく近づけにくい無限の数学的な集まりをめぐる問題だ。OpenAIの説明では、AIが議論を生み、人間が原稿を整え、その後、Leanというコンピューターで証明を確かめる仕組みに各議論を形式化した。つまり争点は、答えが正しいかだけでなく、どの考えがどこから来たかにも及ぶ。

なぜ重要か

「AIがチャットをそのまま読んだか」と「会話の情報がモデル改善に影響したか」は、同じ質問ではない。OpenAIのNavier–Stokes発表は、外部研究者の仕事を公開前に見ていない、特定の利用者データを解決に使っていないと説明する一方、利用から得た名前を消したデータがモデル改善に役立った可能性は否定できないとしている。直接の読み取りを否定しても、間接的な影響まで説明したことにはならない。研究者にとって、未発表のアイデアは発表前の功績や競争上の位置に関わる。誰の発想が成果に寄与したのかを確かめられなければ、AIを研究相手として使う判断も難しくなる。

確認できたこと

確認できるのは、OpenAIが10件の数学成果を公表したこと、Thomが自分のChatGPTでの相談とOpenAIへの問い合わせを公に語ったこと、OpenAIがNavier–Stokesの説明で直接アクセスとモデル改善を分ける書き方をしたことだ。また、Hacker News上でこの問題が話題になったことも事実だ。反応数から内容の正しさや、コメント参加者の意見を読み取ることはできない。

まだ分からないこと

Thomの会話が実際に学習データに入ったのか、結果を作る段階で参照されたのか、同じ考えが公開済みの数学から独立に得られたのかは、公開情報だけでは決着していない。OpenAIの発表は「特定の利用者データを解決に使っていない」とするが、モデル改善への間接的な寄与を完全に否定する資料ではない。現段階で「研究の無断利用が確認された」と断定するのも、「影響は絶対にない」と断定するのも早い。

次に見る点

今後の焦点は、OpenAIが学習に使ったデータの範囲や記録をどこまで説明するか、Thomの問いにどう答えるか、そして数学者が成果の内容と貢献者の表記をどう検証するかだ。AIが未発表研究を扱うなら、直接コピーがないかだけでなく、同意、履歴、功績を追える仕組みが必要になる。この投稿が突きつけたのは、AIの数学力そのものより、発見の出どころを誰が説明するのかという問題である。

出典: Andreas Thomの投稿、OpenAIの8月発表、OpenAIのNavier–Stokes発表、Hacker Newsの掲載