マルチモーダルとは？

モーダルとは情報の種類のことで、複数（マルチ）を同時に扱うことからこう呼ばれます。人間が目と耳と言葉を組み合わせて理解するのに近い形で、資料の図表を読み取ったり、動画の内容を説明したりできます。実世界の作業を任せるAIエージェントにとって、画面を見て理解する能力は前提条件になりつつあります。