1 大規模AIモデルの動向
1.1 Transformer
1.2 CLIP
1.3 Llama
2 モデルのコンパクト化手法
2.1 コンパクト化手法の分類
3 蒸留によるコンパクト化
3.1 知識蒸留
3.2 中間層蒸留
3.3 Mutual Learning
4 量子化によるコンパクト化
4.1 量子化の導入方法
4.2 BitNet
5 枝刈りによるモデルのコンパクト化
5.1 構造化枝刈り
5.2 非構造化枝刈り
6 言語モデルへの適用事例
7 画像モデルへの適用事例
8 マルチモーダルモデルへの適用事例
9 まとめ