ディープラーニングの推論パフォーマンスを改善するモデル軽量化技術の基礎と最新動向【WEBセミナー】

　1　ディープラーニングの基礎
　　1.1　データ表現と問題設定
　　1.2　全結合ネットワークモデル
　　1.3　畳み込みネットワークモデル
　　1.4　代表的なモデルとその構成要素

　2　モデルプルーニング
　　2.1　非構造化プルーニング
　　　・Magnitude-based Pruning / Lottery Ticket Hypothesis /
　　　　Weight Rewinding / Learning-rate Rewinding
　　2.2 構造化プルーニング
　　　・L1norm-based Pruning / ThiNet / PCAS

　3　ネットワーク量子化
　　3.1　二値化
　　　・XNOR-Net / Bi-Real Net
　　3.2　一様量子化 (量子化学習)
　　　・Integer Arithmetic Only Inference / PACT / 
　　　　Learned Step-size Quantization
　　3.3　非一様量子化
　　　・LogNet / Learnable Companding Quantization
　　3.4　一様量子化 (事後量子化)
　　　・Channel Equalization / ACIQ / OCS

　4　軽量アーキテクチャ設計
　　4.1　分岐・合流接続の工夫
　　　・PeleeNet / CSPNet
　　4.2 畳み込みの要素分解
　　　・MobileNet-V1 / MobileNet-V2
　　4.3 構造の自動探索
　　　・FBNet

　5　その他の軽量化技術
　　5.1　重み共有
　　　・Product Quantization
　　5.2　知識蒸留
　　　・Few Sample Knowledge Distillation
　　5.3　低ランク近似
　　　・Compression-aware Training

　6　まとめ