1 マルチモーダル社会的信号処理の導入
2 マルチモーダル社会的信号処理のための理論
2.1 社会言語学の知見
2.2 社会心理学の知見
2.3 社会的信号処理に用いるマルチモーダル情報処理のための基礎
2.3.1 音声情報処理
2.3.2 画像情報処理
2.3.3 言語情報処理
2.3.4 生体情報，その他のセンサ情報処理
2.4 社会的信号処理のためのＡＩ技術
2.4.1 機械学習
①分類・回帰学習
②転移学習、半教師付き学習、弱教師付き学習
2.4.2 マルチモーダル機械学習
2.5 社会的信号処理モデルの構築方法
2.5.1 データコーパスの収集
2.5.2 心理学の知見を利用した正解ラベルデータの作成方法
2.5.3 入力モダリティの選定
2.5.4 マルチモーダル特徴量の抽出
2.5.5 マルチモーダル情報の機械学習・評価
2.6 社会的信号処理の応用実例
2.6.1 マルチメディアコンテンツ解析
2.6.2 マルチモーダル感情認識
①生体信号処理に基づく認識
②対話ロボットとの対話満足度の認識
③外部言語知識を利用した感情に紐づく情報の拡張
④複数のコーパスを用いた感情認識習
2.6.3 コミュニケーション・プレゼンテーション能力の推定
2.6.4 運転行動データに基づく認知機能の推定
2.6.5 行動情報に基づくストレス推定
2.6.6 行動データに基づく認知症傾向の推定
2.6.7 マルチモーダル会話ロボット
2.6.8 ユーザの内的状態推定に基づくロボットの会話戦略
2.6.9 ユーザの面接対話スキル判定機能を備えた就職面接訓練エージェントシステム