Transformerとは？

文章を処理するとき、文中のどの単語とどの単語が関係しているかに「注意（Attention）」を向ける仕組みが核になっています。それ以前の手法は文章を先頭から順番に処理する必要がありましたが、Transformerは全体を並列にまとめて扱えるため、GPUの性能を活かして一気に大規模化できました。ChatGPTのGPT、ClaudeやGeminiも、すべてこの構造をもとにしています。