サマースクール’20：深層強化学習

概要

本講座は、Deep Learningを用いた強化学習に特化した全6回の講義です。東京大学でDeep Learning基礎講座を公開してきた松尾研究室が、深層学習の基礎を習得済みの学生を対象として開講するものです。

深層学習を用いた強化学習の研究・社会実装のスタートラインに立てるレベルの知識・実装力の習得を目指します。離散制御や連続値制御、モデルベース学習などの強化学習の基礎的なアルゴリズムから、sim2real、模倣学習、Control as Inference、世界モデル、まで深層強化学習の種々のトピックをカバーします。講義のみでなく、実践的な演習を通して、効率的に強化学習について手を動かしながら技術を深く理解します。

なお、本セミナーは完全オンラインで実施いたします。

ブラウザのみ必要

必要なものはWebブラウザのみです。ブラウザを通じてGPUを利用したPythonプログラミングが可能な開発環境「Omnicampus」が提供されます。講義ではGoogle colabと併用し、演習を進めていきます。

構築済み環境

必要な全てのDeep Learning・機械学習ライブラリがインストールされ、構築済みの環境が配布されますので、すぐに学習を開始し本題に集中して取り組むことが可能です。

演習中心で効率良く短期習得

本プログラムの最大の特徴の一つは、全てのトピックについて，演習を中心に構成されている点です。実際に手を動かしながら理解を進めることで、効率よく学習することができます。

モデルの学習

Deep Learning技術では、モデルが学習する様子を観測しながらパラメータを調整することで、アプリケーションに応じたパフォーマンスの最大化を図ることが非常に重要です。この一連の流れを全ての演習で経験することで、重要な要素を身につけられます。

松尾研究室がコンテンツ作成

実践型のデータサイエンティスト育成講座およびDeep Learning講座を4年以上公開運営し、のべ千人以上の人材を育成してきた東京大学松尾研究室がコンテンツを監修・開発しました。

各講座

第1回強化学習基礎（復習）・離散制御

①基本的な強化学習アルゴリズムの復習〜深層強化学習の導入（価値に基づく手法・方策勾配法・DQN）
②主要ベンチマークの強化学習アルゴリズムと発展

第2回シミュレータの利用・連続値制御

① 物理シミュレータの利用，PyBullet
② 連続値制御強化学習アルゴリズム

第3回制御モデルの利用・モデルベース強化学習

① 順運動学・逆運動学
② モデルに基づく制御
③ モデルベース強化学習

第4回デモを利用する手法

① 模倣学習
② オフライン強化学習

第5回Control as Inference・世界モデル

① Control as Inference
② 強化学習の観点からみた世界モデル

第6回応用を見据えた発展的話題

① ゲームAI・他分野への強化学習応用
② ロボット学習

企画・監修

講師・教材作成

日程

募集開始	2020/7/18（土）
募集締切	2020/7/26（日）23:59
選考結果	2020/8/1（土）までに受講決定者にはメールで連絡します。

第1回	2020/8/11（火）15〜17時
第2回	2020/8/18 （火）15〜17時
第3回	2020/8/21 （金）15〜17時
第4回	2020/8/25（火）15〜17時
第5回	2020/8/28（金）15〜17時
第6回	2020/9/8（火）15〜17時
最終課題〆切	2020/9/15（火）23:59

募集要項

本セミナーは、ライブ配信される講義映像を、各人が自宅等で視聴・演習していただく形式です。
- 各講義日の15:00〜17:00にライブ配信します。ライブ配信では、リアルタイムに質問を受け付けます。
- ライブ配信への参加方法など詳細については、受講が決定された方にご連絡いたします。
対象：学生（大学院、大学、高専、専門学校生、高校、中学など。社会人は0名~若干名の予定です。）
（本講座は公開講座であり、大学から単位は出ません）
受講料はかかりません。