※本セミナーは開催日が6月17日から変更になりました
1 Transformer の基礎となる理論
1.1 再帰型ネットワーク
1.2 系列変換モデルによる機械翻訳
1.3 注意機構による対応付け
1.4 自己注意機構
1.5 Transformer
2 Transformerの応用
2.1 機械翻訳への適用
2.2 音声分野における応用（Conformer）
2.3 画像分野における応用（Vision Transformer）
2.4 最近の技術動向の紹介
3 言語処理と言語生成への適用
3.1 人工的なタスク設定と表現学習
3.2 BERT（Bidirectional Encoder Representations from Transformers）
3.3 BERT を用いた文書検索と言語理解
3.4 言語モデル（GPT、GPT-2、GPT-3：Generative Pre-trained Transformer）
3.5 テキストからの画像生成（DALL-E）