概要
深層学習を用いた強化学習の研究・社会実装のスタートラインに立てるレベルの知識・実装力の習得を目指します。離散制御や連続値制御、モデルベース学習などの強化学習の基礎的なアルゴリズムから、sim2real、模倣学習、Control as Inference、世界モデルまで、深層強化学習の種々のトピックをカバーします。講義のみでなく、実践的な演習を通して、効率的に強化学習について手を動かしながら技術を深く理解します。
ロボット制御，システム制御の自動化，ゲームAI，マルチエージェントシステム，バイオインフォマティクス，分子設計，広告最適化，物理シミュレーション，交通工学, 金融
ブラウザのみ必要
必要なものはWebブラウザのみです。講義ではGoogle colabを利用し、演習を行います。
構築済み環境
必要な全てのDeep Learning・機械学習ライブラリがインストールされ、構築済みの環境が配布されますので、すぐに学習を開始し本題に集中して取り組むことが可能です。
演習中心で効率良く短期習得
本プログラムの最大の特徴の一つは、全てのトピックについて，演習を中心に構成されている点です。実際に手を動かしながら理解を進めることで、効率よく学習することができます。
モデルの学習
Deep Learning技術では、モデルが学習する様子を観測しながらパラメータを調整することで、アプリケーションに応じたパフォーマンスの最大化を図ることが非常に重要です。この一連の流れを全ての演習で経験することで、重要な要素を身につけられます。
松尾研究室がコンテンツ作成
実践型のデータサイエンティスト育成講座およびDeep Learning講座を6年以上公開運営し、のべ6,000人以上の人材を育成してきた東京大学松尾研究室がコンテンツを監修・開発しました。
各講座
第1回 強化学習基礎（復習）・離散制御
（担当講師：今井）
①基本的な強化学習アルゴリズムの復習〜深層強化学習の導入（価値に基づく手法・方策勾配法・DQN）
②主要ベンチマークの強化学習アルゴリズムと発展
第2回連続値制御
（担当講師：太田）
① 連続値制御強化学習アルゴリズム
第3回 シミュレータ・制御モデルの利用・モデルベース強化学習
（担当講師：松嶋）
① シミュレータの利用
② モデルに基づく制御
③ モデルベース強化学習
第4回デモを利用する手法
（担当講師：古田）
① 模倣学習
② オフライン強化学習
第5回Control as Inference・世界モデル
（担当講師：谷口）
① Control as Inference
② 強化学習の観点からみた世界モデル
第6回応用を見据えた発展的話題
（担当講師：今井・松嶋・Sony AI 河本様）
① ゲームAI・他分野への強化学習応用
② ロボット学習
③ (特別講義) Gran Turismo SPORTにおける連続値強化学習の応用
企画
監修・講師・教材作成
講師（ゲストスピーカー）
河本 献太
運営
河合 真里
内田 暁
日程
| 募集開始 | 2021/10/12（火） |
|---|---|
| 募集締切 | 2021/10/25（月）AM10:00 |
| 選考結果 | 2021/11/1（月）までに受講決定者にはメールで連絡します。 |
| 第1回（講師：今井） | 2021/11/10（水）18:45〜20:45 |
|---|---|
| 第2回（講師：太田） | 2021/11/17（水）18:45〜20:45 |
| 第3回（講師：松嶋） | 2021/11/24（水）18:45〜20:45 |
| チュータリングデー①（予定） | 2021/11/26（金）18:45〜20:45 |
| 第4回（講師：古田） | 2021/12/1（水）18:45〜20:45 |
| 第5回（講師：谷口） | 2021/12/8（水）18:45〜20:45 |
| 第6回（講師：今井・松嶋・Sony AI 河本様） | 2021/12/15（水）18:45〜20:45 |
| チュータリングデー②（予定） | 2021/12/22（水）18:45〜20:45 |
| 最終課題〆切 | 2022/1/11 （火）23:59 |
| 最終課題発表会 | 日時・開催形式未定 |
| （参考）「世界モデルと知能」第1回 ※別途応募が必要です | 2022/1/5（水）18:45〜20:45 以降，毎週水曜日の同時間帯（18:45〜20:45）に開講を予定 |
募集要項
- 本セミナーは，ライブ配信される講義映像を，各人が自宅等で視聴・演習していただく形式です．
- 各講義日の18:45〜20:45にライブ配信します．ライブ配信では、リアルタイムに質問を受け付けます．
- ライブ配信への参加方法など詳細については，受講が決定された方にご連絡いたします．
- 対象：学生（大学院，大学，高専，専門学校生，高校，中学など）
（本講座は公開講座であり，大学から単位は出ません） - 受講料はかかりません．
参加条件
- 深層学習／Deep Learningの基礎知識を備え，基礎的な実装が自身でできること
- 毎回の講義を確実に視聴できること
- 課題に取り組む時間を十分に作れること
- 応募フォーム内にある，以下の質問に回答できる方
「あなたのこれまでの研究内容や開発の経験・実績に関して教えてください」
「応募理由．本セミナーでどのようなことを学びたいですか？」
「このセミナーの内容を今後どのように役立てたいですか？」
「関連講義の修了状況」
「日常的に利用している数値計算や深層学習，ロボット制御など，セミナーの内容に関連するライブラリがあれば用途とともに教えてください」
「上記項目以外にアピールしたいことや，セミナーに対する質問など」
※フォームは一時保存ができないため，事前に回答をご用意いただくことをお勧めいたします．
留意事項・お知らせ
- 本セミナーには最終課題があります．各講義と最終課題の提出物を提出し基準以上の評価を得ることで修了となります．最終課題に取り組む時間を十分に用意してください．
- 最終課題の問題は「講義（と演習）で扱った内容を発展させたプロジェクトを計画・実験し，結果とともに報告してください」を予定しています．
- 本セミナーでは，「Google Classroom」を用いた運営を行います．受講者のGmailにクラスの招待を行いますので，申し込みの前に有効なGmailアカウント(@gmail.comで終わるメールアドレス）をご用意ください．
- 本セミナーの講義は2021年12月末に終了しますが，2022年1月から引き続き同曜日・時間帯（水曜日18:45〜20:45）で関連セミナー「世界モデルと知能」を開講予定です．本セミナーの内容を踏まえて，深層生成モデルや近年の大規模モデルの話題と絡めながらより発展的な話題を取り扱う予定ですので，ぜひ合わせてご受講ください．
- 「世界モデルと知能」の受講には別途応募が必要です．
よくある質問、お問い合わせはこちら
関連セミナー「世界モデルと知能」についてはこちら（準備中）
