2017年11月24日（金）
10:30～16:30
Tel：03-5857-4811 E-mail：info@rdsc.co.jp
問い合わせフォーム
非会員：
50,906円
（本体価格：46,278円）
会員：
48,125円
（本体価格：43,750円）
学生：
11,000円
（本体価格：10,000円）
会員（案内）登録していただいた場合、通常1名様申込で49,980円（税込）から
★1名で申込の場合、47,250円（税込）へ割引になります。
★2名同時申込で両名とも会員登録をしていただいた場合、計49,980円（2人目無料）です。
学校関係者価格は、企業に在籍されている研究員の方には適用されません。
■ 会員登録とは？ ⇒
よくある質問
30名 ※現在、お申込み可能です。満席になり次第、募集を終了させていただきます。
・AIの最先端知識と技術に興味をお持ちの方。
・AIの研究と応用を検討されている方。
・AIを含めた最適化技術の応用に携わっている方。
・「最適化とは何か？」を知りたい方。
・画像認識・音声認識以外の分野でのAI応用の可能性に興味をお持ちの方。
特に予備知識は必要ありません。基礎からわかりやすく解説いたします
・強化学習の基本原理と要素技術の基本知識の習得
・深層学習の基本原理と要素技術の基本知識の習得
・深層強化学習の基本原理と応用に関する知見の習得
・最先端最適化技術の可能性と問題点についての知見を習得
世界トップのプロ囲碁棋士に見事に勝利したAlphaGoの出現。このAlphaGoの歴史的な勝利を支えた手法が、数あるAI手法の中でも今とくに注目されている「深層強化学習」です。
AIの研究や今後のビジネスチャンスを踏まえAIの応用を真剣に検討されている方にとって、深層学習の先にある「深層強化学習手法」の基本原理を理解することは将来の布石につながるでしょう。しかしこの深層強化学習は難解と云われ、内容をかみ砕いてわかりやすく説明している資料は今のところなかなか見当たりません。本セミナーはこのような現状を踏まえセミナーの構成を工夫。まずは基本となる強化学習の中核的な内容について、例題と「動画」を通して皆さんになるべくわかりやすく説明します。その上でセミナー中盤では「深層強化学習」をよりわかり易く理解するための手がかりとして「簡易型の線形回帰近似モデル」を応用した強化学習手法を、簡易デモなどを用いてわかりやすく説明します。そして、いよいよ後半では「最前線：深層強化学習」として、ニューラルネットワーク近似モデルを使用する深層強化学習の理解に迫ります。
様々な背景を持つ受講者の皆さんが理解しやすいように内容をかみ砕き講義内容の難易度を調整しています。本セミナーを通して「強化学習」とその先にある「深層強化学習」の基本知識と応用情報を入手し、ぜひ研究やビジネスの現場で活用して頂ければ幸いです。
第１部 はじめに
1-1．強化学習の基本概念
1-2．多腕バンディット問題をわかりやすく説明
1-3．強化学習における探索と利用のジレンマ
1-4．多腕バンディット問題の解法をわかりやすく説明
・平均報酬という概念について
・平均報酬を更新するための式の導きかた
・Epsilon –greedy
・最適初期値設定法
・UCB1
・Bayesian/Thompson 法の詳細
1-5．簡易デモ(python)：Gridworld（上記４種類解法の実行：直感的に理解する）
第２部 基本概念—マルコフ決定過程（MDP）の基本原理のポイント
2-1．確率過程
2-2．マルコフ性とは
2-3．マルコフ鎖とは
2-4．MDPの定義と式の導き方
2-5．方策πの定義と価値関数の対応関係
2-6．状態価値関数[V(s)]におけるベルマン方程式をわかりやすく説明
2-7．状態行動価値関数[Q(s,a)] におけるベルマン方程式をわかりやすく説明
2-8．簡易演習デモ(python)1：Gridworld（式を理解するために）
2-9．最適状態価値関数 V＊(s)のポイント
2-10．最適状態行動価値関数 Q＊(s,a)のポイント
2-11．最適状態価値関数 V＊(s)と最適状態行動価値関数 Q＊(s,a)の相互関係
2-12．ベルマン最適性方程式の導きかた
2-13．簡易デモ(python)2：Gridworld（式を理解する）
2-14．ディスカッション：最適性と近似性について
第３部 中核 強化学習におけるMDP問題の解法
3-1．動的計画法の解説と入門：
（1）反復法による価値関数を求める：ランダム方策 vs 固定方策
（2）最適な方策の探索手法をわかりやすく説明
・方策反復法による最適状態価値関数を求める
・遷移確率を考慮した方策反復法による最適状態価値関数を求める
・価値反復法による最適状態価値関数を求める
（3）簡易デモ(python)：Gridworld（４種類解法の実行と結果比較：概念を理解する）
3-2．Monte-Carlo(MC)法をわかりやすく解説
（1）モデル法とモデルフリー法のちがい
（2）経験に基づく学習手法のポイント
（3）MC法と多腕バンディットの内在関連性
（4）状態価値関数・行動状態価値関数と平均報酬との関係
（5）MC法による状態価値関数の求め方とポイント
（6）MC法による最適状態行動価値関数 Q(s,a)の求め方とポイント
（7）簡易デモ(python)：Gridworld（２種類MC法の実行と比較：概念を理解する）
3-3．TD学習手法のポイントと入門
（1）TD（０）法の説明と式の導きかた
（2）SARSA法の説明と式の導きかた
（3）Q-学習法の説明と式の導きかた
（4）On-PolicyとOff-Policyを詳しく説明
（5）簡易デモ(python)：Gridworld（３種類TD法の実行と比較：概念を理解する）
第４部 拡張ー強化学習における関数近似手法とは（入門編）
4-1．Tabular法（表形式手法）と近似解法のちがい
4-2．回帰モデルと誤差関数をあらためて復習
4-3．最急降下勾配法とMC法との関連性をわかりやすく説明
4-4．疑似勾配（Semi-Gradient）とは
4-5．簡単な線形回帰モデルに基いたMC法による状態価値関数 V(s,θ)を求める
4-6．簡単な線形回帰モデルに基いたTD(0)法による V(s,θ)を求める
4-7．簡単な線形回帰モデルに基いたSARSA法による V(s,θ)を求める
4-8．簡易デモ(python)：Gridworld（回帰近似MDP解法の実行：直感的理解）
第５部 最前線 深層強化学習の基本概念と最重要ポイント
5-1．簡易型ニューラルネットワークを応用したQ-学習手法の説明
5-2．深層Q-学習（DQN）の基本ポイント
5-3．連続動作空間における強化学習のポイント
5-4．方策勾配法の基本と式の導き方
5-5．ガウシアン型行動確率分布の導入
5-6．方策勾配法による連続動作空間における強化学習の簡易説明
5-7．深層Actor-Critic法の基本と実行のコツ
5-8．簡易実演デモ(python)： Mountain car, Cartpole, Atariなど (概念の理解)
第６部 応用 強化学習と深層強化学習の応用事例
6-1．ヒューマノイドやロボットの制御における深層強化学習の応用事例紹介
6-2．電気制御素子のパラメーター探索における強化学習の応用事例紹介
6-3．蓄電池充放電制御における強化学習の応用事例紹介
6-4．太陽光発電の変動制御における強化学習の応用事例紹介
6-5．簡易実演デモ(python)：(応用の可能性と効果を議論する)
【質疑応答・名刺交換】
強化学習,深層強化学習,AI,人工知能,セミナー,研修,講習
