計算機は、学習したことの暗記は得意ですが、学習で記憶していない未知のデータに対しても、うまく予測できるような仕組みを作ることができます。汎化機能といいます。そのためには、文法や単語の意味を理解するルールや法則を計算機が獲得する必要があります。現在の言語モデルは、これらを達成しています。

　注意機構というのがあって、遠く離れたニューロンにある情報も直接壊さず集約できます。これも脳の機能に似ています。

　大規模言語モデルの大まかな仕組みと使い方、今後の発展方向などを大まかに知るには絶好の本です。