狩野:主語がどれなのかという正解を与えるのは人間であり、その作業に膨大な時間とコストがかかるからです。そこで考えられたのが、「伏字を予測させる」方法。世の中にあふれているウィキペディアなどの文章にはそれ自体に正解がありませんが、例えば、“You【?】goodbye and I say hello”という単語当てクイズなら、【say】という正解を作ることができます。これをコンピュータに1億回、1兆回、1京回というレベルでやらせたら、語彙、構文、意味、文脈などを理解して単語を予測できるようになるのではないか?と考えたわけです。この取り組みの結果が現在の大規模言語モデルと呼ばれるもので、実際のところ単語や構文、意味的なところまでかなりの精度が出ています。つまり、次の単語を予想させ続ければ文章を生成することができるということ。逆の言い方をすれば、今の生成AIは「次の単語をつないでいるだけの単純な仕組み」にすぎないのです。