パラメータとは？

「700億パラメータ」のように規模を表す指標として使われます。かつては数が多いほど賢いと考えられていましたが、最近は学習データの質や学習方法の工夫によって、小さいモデルが大きいモデルに匹敵する例も増えました。パラメータ数が多いほど動かすのに必要なメモリと電力も増えるため、性能とコストのバランスが設計の焦点になっています。