概要

近年、AI（人工知能）のブームを迎え、日々ニュースではAI関連のトピックが取りざたされ、
その中でAIの最先端アルゴリズムをビジネスに適用されたいニーズも高まってきております。

そこで本研究会においては、最先端のAIアルゴリズムの実践的な理解を行うため、論文輪読＆実装会を開催いたします！
毎回テーマ別に開催しますので、初参加の方でもご参加いただけます。

今回の輪読会では、2013年12月19日にDeep Mind社により発表された強化学習アルゴリズム Deep Q Network (DQN)を扱います！

実装後は実際にビジネスに適用できそうかどうかのディスカッションができればと思います。
ご参加を心よりお待ち申し上げます！

ご注意

本イベントはセミナーではなく、論文輪読会です。
参加される場合は聴講ではなく、
議論に積極的に参加していただく形でお願いいたします。
そのため、論文の予習必須でお願いいたします。

一人では勉強が難しいこともありますので、予習用の勉強会も開催いたします。
（予習会の日程は、LINEグループとconnpassメールで日程・場所のご連絡を差し上げます。）

この輪読会で得られた知見は、今後セミナーイベントとして開催される予定ですので、
聴講希望の方はぜひそちらにご参加ください！

予習会お知らせ

8月19日の上級者向けAI論文輪読＆実装会のための予習会下記の通り実施します。

一回目

• 日程：8/13 13:00~17:00
• 場所：大阪市中央区本町４丁目７−７　３０３号室( kiiiya本町 )
• 内容
  • 各自、論文を読書し、不明点を議論する。
  • プログラムを実行し、結果の精度を出しておく。
• 出欠を取るイベントページなどはございません。各自思い思いの時間に来て、勉強していただけたらと思います。
• 参加料500円です。

二回目

• 日程：8/15 13:00~17:00
• 場所：大阪市中央区本町４丁目７−７　３０３号室( kiiiya本町 )
• 内容
  • 各自、論文を読書し、不明点を議論する。
  • プログラムを実行し、結果の精度を出しておく。
• 出欠を取るイベントページなどはございません。各自思い思いの時間に来て、勉強していただけたらと思います。
• 参加料500円です。

対象者

• Deep Q Network(DQN)を理解/実装したいエンジニア・研究者・専門学生の方
• 高校数学（数Ⅱ,数Ⅲ）と工学系学部レベルの大学初等数学（線形代数、微分積分、統計学）の知識は必要です。

deep Q-network (DQN)とは

deep Q-network (DQN)とは、Googleの子会社ディープマインドが開発した人工知能です。
深層強化学習アルゴリズムを利用したもので、一部の電子ゲームにおいて人間以上のスコアを獲得できています。

画像認識に多く用いられる深層学習と強化学習(Q学習)を組み合わせたアルゴリズムにより動作し、
ゲームのルールを教えていない場合でも、どのように操作すれば高得点を目指すことができるのかを判断することができます。

DQNはAtari 2600の49種類のゲーム中43種類で従来の人工知能による得点を上回り、29のゲームではプロゲーマーと同等またはそれ以上のパフォーマンスを見せました。

（wikipediaより）

対象の論文

• V. Minh, et al. "Playing Atari with Deep Reinforcement Learning" arXiv:1312.5602, 2013.

• V. Minh, et al. "Human-level control through deep reinforcement learning" nature, 2015.

  • 19日に輪読する論文になります。こちらを読んで予習して来てください！
  • DQNでは、選択したactionを過大評価しないように, 行動を評価する(experience memoryを行う)際と、行動を選択する際で使うモデルを分けるという方策がとられています。上記一番目の論文は両者で同じモデルを使っており、natureに掲載された2015年の論文(上記2番目)では、両者を分けて新しくtarget networkを導入しています。（[Python]強化学習(DQN)を実装しながらKerasに慣れるより）

• https://github.com/keras-rl/keras-rl/tree/master/examples

  • DQNをKerasフレームワークで実装されたものです！
    
  • 19日は理論が終わった後に、実装もやろうと思っております。
    
  • 学習には時間がかかるので、各自事前に動かせるかどうか試していただけけるとベストです。
    
  • Python 3系, keras (2系でOK), keras-rl, OpenAI gymが入っていればdqn_cartpole.pyなどは簡単に動きます。
    • 参考： [Python] Keras-RLで簡単に強化学習(DQN)を試す

スケジュール

• 13:00~ 論文輪読会
• 15:30~ 実装・評価会
• 16:30~ ビジネス適用検討会

論文輪読では、理論の理解を目標に議論を進めます。
実装・評価会では、デモ実行する環境はUbuntu16.04かwindows 10を予定しております。
論文の理解度や実装の進捗により急遽予定が変更となる可能性がございます。
ビジネス適用検討会では、理解した内容からどういったビジネス適用が可能か議論します。

泉大津AI研究会とは

泉大津AI研究会は、2018年4月1日に発足された団体です。
最新AI技術の実践的なビジネス適用とAI人材教育を理念としています。

アクセス

• 南海本線　泉大津駅（急行停車駅）下車、徒歩15分（難波駅（空港急行）より20分）

注意事項

• 駐車場はございませんので、当日は出来るだけ公共の交通機関をご利用いただき、ご来社くださいますようお願い申し上げます。ご協力の程よろしくお願いいたします。

論文学習に便利なツール

• 英語PDFから日本語PDFに変換するサイト
  • DocTranslator
• DQNの日本語の文献
  • [Python] Keras-RLで簡単に強化学習(DQN)を試す
  • Kerasで最短で強化学習（reinforcement learning）する with OpenAI Gym
  • ゼロからDeepまで学ぶ強化学習

興味があるが、参加できないという方へ。。

今後の運営の参考にさせていただきますので、ぜひ「興味があるが、参加できない」枠からアンケートを記入していただければ幸いです。