1 自己教師あり学習の手法
1.1 対比学習による潜在空間への変換
1.2 マスクを用いた学習
1.3 自己回帰型モデル(次の要素を予測する)
2 大規模言語モデル
2.1 機械翻訳モデルとしてのTransformer
2.2 BERT(Bi-directional Encoder Representations from Transformers)
2.3 GPT(Generative Pre-trained Transformer)
2.4 プロンプトによる指示の有効性(GPT-3:Few shot learner)
3 対話型AI
3.1 強化学習の役割(InstructGPT)
3.2 対話型 AI(ChatGPT) の登場とその後の発展
3.3 思考の連鎖(Chain of Thought)と多段推論への展開
3.4 企業における活用には格差が存在する
4 マルチモーダル基盤モデル
4.1 画像分野における言語処理の重要性
4.2 画像と言語のマルチモーダル基盤モデル
4.3 画像認識・検出・領域分割における言語の役割
4.4 マルチモーダルエージェントと言語による指示
4.5 産業分野への適用の可能性について
5 データサイエンス分野における技術動向
5.1 KDD 2023(Knowledge Discovery and Data Mining)
5.2 大規模言語モデルは様々な分野に影響を与えている
5.3 産業分野における応用事例
6 画像分野における技術動向
6.1 CVPR 2023(Computer Vision and Pattern Recognition)
6.2 ICCV 2023(International Conference on Computer Vision)
6.3 マルチモーダル基盤モデルに関連する研究の解説
6.4 画像分野における大規模言語モデルの展望