サマースクール 2023
大規模言語モデル
概要
本講座はサマースクールの一環として大規模言語モデル（Large Language Models, LLM)に関して体系的に学べる講座を目的として開催されます。
具体的には以下のスキルを身につける事を目的としています。
- LLMの原理について，事前学習からRLHFまでの一連の流れや意味合いを理解する
- LLMの学習や推論を支える技術について理解する
- 既に公開されているLLMモデルやAPIなどの活用方法を理解する
本講座では、東京大学Deep Learning基礎講座・応用講座を公開してきた松尾研究室が全面的に演習コンテンツを監修・作成しています。実践的な演習を通して、手を動かしながら技術を深く理解し、幅広いトピックを網羅します。
※本講座はページ下部の前提条件をご確認の上、条件が当てはまる方を対象としています。
LLMのモデルのアーキテクチャーまで取り扱う実践的な講義のため、ご自身のレベルに見合っているかご確認の上ご応募ください。
本講義は完全オンラインで実施いたします。
松尾研究室がコンテンツ作成
実践型のデータサイエンティスト育成講座およびDeep Learning講座を9年以上公開運営し、のべ7,000人以上の人材を育成してきた東京大学松尾研究室がコンテンツを監修・開発しました。
モデルの学習
Deep Learning技術では、モデルが学習する様子を観測しながらパラメータを調整することで、アプリケーションに応じたパフォーマンスの最大化を図ることが非常に重要です。この一連の流れを全ての演習で経験することで、重要な要素を身につけられます。
演習中心で効率良く短期習得
本プログラムの最大の特徴の一つは、多くのトピックについて，演習が用意されている点です。実際に手を動かすことで理解を深めることができます。
コンテンツ（全7回）
第1回Overview of Language Models
（担当講師：岩澤 / 小島）
第2回Prompting and Augmented Language Model
（担当講師：岩澤／原田）
第3回Pre-training Pipeline
（担当講師：小島／原田）
※第2回と入れ替えもあり得る
第4回Scaling Pre-training
（担当講師：小島／沖村）
第5回Parameter Efficient Fine-Tuning
（担当講師：中筋／永積）
第6回RLHF (Advanced Topic for Tuning Pre-trained Models)
（担当講師：高城）
第7回 Going Beyond LLM
（担当講師：栗田 / 松尾 / 岩澤 / 小島）
※講義日程・講義内容等には追加・変更が生じる可能性があります。
企画
監修
岩澤 有祐
講師
松尾 豊
岩澤 有祐
小島 武
原田 憲旺
沖村 樹
永積 輝
株式会社neoAI
教材作成
竹田 悠哉
徳永 優也
永積 輝
TA
松島 弘幸
システム
野海 芳博
和田 俊輔
運営
大牧 信介
川崎 竜一
河合 真里
保谷 朝美
登坂 充
木島 悠輔
西川 登偉
日程
※日程・講師は変更となる場合があります
| 募集開始 | 2023/7/19（水） |
|---|---|
| 募集締切 | |
| 選考結果 | 2023/8/25（金）19時までに応募者全員にお送りします。 |
| 第1回（担当講師：岩澤 / 小島） | 2023/9/4 （月）14:00 ~ 16:00 |
|---|---|
| 第2回（担当講師：岩澤 / 原田） | 2023/9/8（金）14:00 ~ 16:00 |
| 第3回（担当講師：小島 / 原田） | 2023/9/11（月）14:00 ~ 16:00 |
| 第4回（担当講師：小島 / 沖村） | 2023/9/15（金）14:00 ~ 16:00 |
| 第5回（担当講師：中筋 / 永積） | 2023/9/19（火）14:00 ~ 16:00 |
| 第6回（担当講師：高城） | 2023/9/22（金）14:00 ~ 16:00 |
| 第7回（担当講師：栗田 / 松尾 / 岩澤 / 小島） | 2023/9/25（月）14:00 ~ 16:00 |
| （全回監修：岩澤） | ※第5回のみ火曜日（9/18月が祝日のため） |
募集対象
- 学生
（社会人学生も可。ただし大学生と社会人学生の場合、学士以上の学位取得ができる学生が対象） - 東京大学の教職員
- 国家、地方公務員 [7/28 追加]
- 研究者 [7/28 追加]
- スタートアップ企業の社員 [7/28 追加]
※受講中に上記の条件に当てはまらないことが発覚した場合は、受講資格を取り消すことがあります。
※受講希望者が多数の場合には、抽選を行います。
※ご応募は1人1属性1回までです。別属性からの重複応募は無効となります。
※ご自身に応募資格があるのかわからない・どの属性にあてはまるのかわからない場合には、最も近いと判断する属性区分からお申し込みください。お問い合わせフォームからご質問をいただいてもお答えいたしかねます。※応募後の内容変更はできません。送信ボタンを押す前に内容をよくご確認ください。
前提条件
- Zoom、Googleサービス（google drive、google form、google colab等）、Webブラウザ、Slackを利用できるPCが用意できること
- 毎回の講義を確実に視聴できること
- 最低でも毎回3時間程度の自習時間が確保できること
- 大学の理系学部レベルの線形代数、微分積分、確率論・統計学に関する知識を有すること
- 機械学習の基礎知識を備え、基礎的な実装が自身でできること (Pytorch，TensorFlow，JAXなどのフレームワークを使ってモデルの構築・訓練・評価を行った経験があること)
受講方法
- 本講座はオンライン講座です。
- 受講は無償です。
- 講義時間にリアルタイムでの参加ができない場合は、講義翌日（予定）に公開されるアーカイブ動画での受講も可能です。お時間のある時に視聴し課題に取り組んでいただきます。
- 各回の課題は締切日までに提出してください。
- 修了基準の公開可否については追って発表とします。
よくある質問、お問い合わせはこちら
【重要】
受講可否メール等が迷惑メールフォルダに入ってしまう事例が多数発生しています。
下記2点をご対応いただいていない場合、「メールが届かない」とのお問い合わせは対応いたしかねます。
- <@mail.edu.omnicamp.us>, <@weblab.t.u-tokyo.ac.jp>からのメールが「迷惑メールフォルダ」に入らないように必ず設定をお願いします。
- 結果通知の日時を過ぎてもメールが届かない場合は、まず「迷惑メールフォルダ」の確認をお願いします。
上記を確認されても見当たらない場合は、お問い合わせフォームからご連絡ください。
