1 逆強化学習の位置づけ・機械学習の基礎
1.1 逆強化学習と機械学習・最適制御の関係
＊強化学習は制御と関連が強い
＊逆強化学習と強化学習（最適制御）と何が違う？
1.2 機械学習の基礎のおさらい
＊生成的 / 識別的
＊経験リスク最小化
＊様々な損失
＊2クラス分類 / 他クラス分類 / 系列ラベル分類
…構造的なデータに対しても「識別」は定義できる ⇒ 逆強化学習ではどうやって解く？
2 逆強化学習の定式化・解法
2.1 強化学習の基礎：マルコフ決定過程、ベルマン方程式
＊動的システム
＊マルコフ性
＊マルコフ決定過程 / 報酬関数
＊価値関数 / ベルマン方程式
2.2 逆強化学習の定式化とアルゴリズム
＊報酬期待値の最大化
＊損失関数の設定
＊最大エントロピー逆強化学習
＊周辺分布の獲得前向き・後ろ向き計算
2.3 逆強化学習を適用しようとすると起きる問題は？？
3 逆強化学習の適用例・最近の事例
3.1 海外での適用事例、下坂研究室での事例
＊（簡易版）車線変更
＊経路選択
＊Zone 30マルコフの加減速モデリング
3.2 連続・高次元化に向けた方向性、深層学習との融合
＊関数近似の利用、離散化の工夫
＊連続空間上のIRL：分配関数（積分計算）の近似がポイント
＊この分野も深層NN、さらにはGANの導入が始まってきている