Deep Learning技術は、他の分野では例を見ないスピードで世界的に研究が進められています。
このような状況の下、DL Seminarsは、最先端の研究動向の調査を目的とし、論文の輪読会を毎週開催しております。
READINGs
DL Seminersでは、機械学習・深層学習の名著の輪読会を行なっております。こちらのページでは、輪読会のスライドを公開しています。
DeepLeanring
Ian Goodfellow, Yoshua Bengio, Aaron Courville
PRML, Pattern Recognition and Machine Learning
パターン認識と機械学習 C.M.ビショップ
参加条件:
- Deep Learning基礎講座修了か、もしくは同等レベルの知識を持つこと
- 基本的に毎週輪読会に参加できること
- 定期的に回ってくる自分の番に発表できること
参加方法:
下記のフォームをご記入下さい。(参加には基本紹介が必要となります。)
https://docs.google.com/forms/d/e/1FAIpQLSfosRjTx_kFljDyVLjTKn_XLwCLWPOT6fOYUSwvINdUbuvfJw/viewform
輪読会の進め方:
- 大枠:45分,小枠20分×2の合計3件です。
- 時間は質疑込みの時間です。
- 基本は最初は小枠の発表に割り当てます。その中の一部メンバーに大枠の担当を依頼させていただきます。(大枠で話したいという方、何か話したいテーマがある方は相談していただければ前向きに検討します。)
- 事前準備:
- Appear.inが使えるようにしておく(プラグインインストール+練習しておく!)
- リモートで発表するときは、できるだけ有線LANを使う(無線LANだとプチプチ切れる場合がある)
- 他のアプリは(Google DriveやDropboxなど帯域を使うものは特に)できるだけ停止しておく
- 早めにSlackに読む対象の論文をアナウンスする(最低1週間前)
- Appear.inが使えるようにしておく(プラグインインストール+練習しておく!)
- 論文選択のガイドライン:
- 良い会議(NeurIPS,ICLR,ICMLなど特にコミュニティの問題意識と親しい会議、CVPRやACL,CoRLなど分野特化のトップ会議)に通っている研究、あるいは自分が詳しい研究テーマで素晴らしい成果を上げていることが自分なら判断できると思った研究
- 本コミュニティの問題意識(岩澤の意見)
大別すると2つ
・知能とは何か、それはどう作れるのか(世界モデル、表現のDisentanglement、転移、意味理解、意識、etc)。会議でいうと、NeurIPS,ICLR,ICMLなど。
・最先端技術を使うと何ができるのか(SoTAモデルの共有、他分野にも影響を与えそうな技法の共有)。NeurIPS、ICLR、ICMLなどに加えて,CVPR、ACLなどの領域特化会議の特に優れた論文。
- 本コミュニティの問題意識(岩澤の意見)
- 良い会議(NeurIPS,ICLR,ICMLなど特にコミュニティの問題意識と親しい会議、CVPRやACL,CoRLなど分野特化のトップ会議)に通っている研究、あるいは自分が詳しい研究テーマで素晴らしい成果を上げていることが自分なら判断できると思った研究
- 発表のガイドライン:
- その論文の背景がわかるように、元となる手法や関連研究などの説明を少し詳しく説明する(その論文1本を説明するというより、その論文を足がかりにその研究トピックについて説明するイメージだと良いと思います)
- 良い論文共有
・選定論文のクオリティが高い
・本コミュニティと意識が共有されている(本論文が解いている論文の問題と、コミュニティの問題意識・興味が共有している).コミュニティの意識に設置するのに十分な前提知識が共有されている.
・制限時間内に終わる、わかりやすい(冗長でなく、論点がクリティカルにわかる。)
・発表者の独自の解釈、説明がある(単に論文をなぞって説明するのではなく、独自の論点を提供する)。もう少しいうと、自分が著者であるように話す。 - 発表時に意識すべきこと
・この論文の問題意識は、本コミュニティの平均的な聴講者にすぐに共有できそうか。
・特定の応用に関する場合、十分に他の人(特に同じ応用ではない領域に興味がある人)へのImplicationがありそうか。言い換えると、本論文の技法が他の領域にも適用可能か。
・議論を大事にする、特に少枠の場合重要でない部分を省略することを恐れない。 - References:
- 輪読の意義・目的・論文の読み方
- DL輪読会スライドテンプレート