メニュー

技術ブログ

Denso IT Lab.社員による技術情報の紹介

Denso IT Laboratory researcher's blog sites

数式

RSS

ページトップへ

NIPS2013聴講

NIPS2013に初めて参加しました。今年は1900人ほどが参加しているということです。思ったよりも参加者が多く、驚きました。この内、約300程の論文が採択され、その内の30くらいがオーラルで発表ができるという、やはり狭き門だなと実感しました。会場は、Lake Tahoeというカリフォルニア州とアリゾナ州との州境にあり、わずかにアリゾナ側にあります、それにちなんで会場のホテルがある地域は Stateline という名前が付いているようです。今年は特に気温が低く、最高気温がマイナス数度、最低気温がマイナス二十度前後くらいの日があり、ホテルから外に出る気になれず、非常に詰まらないと思いました。寒さはホテルの中にいれば良いのですが、個人的には空気の乾燥が辛く、喉が痛くなり、声も出なくなってしまいました。

しかし、300近い論文から、何を見たら良いか、自分の研究と直接繋がるものは良いとして、それ以外に何を見たら良いか迷うものです。このような時に、私はキーグラフを使って、論文の傾向を見て、何か面白そうなものはないかと調べるようにしています。キーグラフは、かなり試行錯誤をしないと傾向が見えないのですが、お手軽に使えるので重宝しています。特に、研究者グループの抽出とかには、とても便利です。今年のNIPSの論文をキーブラフ分析したものを以下に示します。


LDAで分析した人もいたので、参考にして下さい:

NIPSの論文は、以下から見ることができます(Reviewも見れて、凄いですね):

今年、個人的にもっとも印象的に思ったことは、ノイズの効用ということでしょうか。通常、ノイズは悪者であるはずですが、むしろノイズが良い影響をもたらすことがあるという事が時々ある訳です。それは、ヒューリスティックに利用されていたりしていたのですが、最近は、それを理論的に説明しようということがなされているようです。今回のNIPSでも、P. Baldiさんが Deep Neural Network における Dropout のモデルを作り、それが正則化の効果があることなどを説明していました。連想記憶モデルでも、ノイズにより性能が向上するという話が出ていたように思います。確率的勾配法なども、拡大解釈すれば、その範疇に入れることができるかもしれません。

チュートリアルでは、次の3つを聴いてみました。

  • Causes and Counterfactuals: Concepts, Principles and Tools
  • Deep Mathematical Properties of Submodularity with Applications to Machine Learning
  • Mechanisms Underlying Visual Object Recognition: Humans vs. Neurons vs. Machines
  • どれも分かり易く、良いチュートリアルだったと思います。今後、自分の研究に取り入れて行きたいですね。
    1つ目では、causal inference と conditional probability とはまったく違う(new paradigm であると)ということを強調し、しかし、最終的には causal inferenceを conditional probability を使って表現する関係式を導いて、これでちゃんと計算可能であるというような事を言っていたように思います。ちなみに、J. Pearl さんは、初めてどういう人か見たのですが、キャラクターが立った人で、意外でした。
    2つ目は、submodular関数の背後にある豊かな数学の世界についての解説で、特に、polymonoid の話に興味を感じました。
    3つ目のプレゼンは、内容と資料ともに非常に秀逸だったと思います。人の脳と機械とを比較し、計算からゲーム(Chessなど)、クイズ(Jeopardy)、パターンマッチングに至まで、機械が人の脳を上回ってしまった。しかし、人の脳の方が上回っていることが、物体認識、シーン理解、歩行であるということであった。この発表では、人の脳がどのように物体認識を行っているのかを解明しようという話でした。ここで、最近話題の deep neural network のように多層の構造がどうして必要かという話があり、それは物体の様々な見え方の違いに対応できるようにするための必然であるということを説明されて、それももっともな話だと思いました。人の脳は「マッピング」(の組み合わせ)によって、物事を処理しているんだと印象に残りました。

    メインの会議は、午前、午後とオーラル・セッションがあり、参加者一同が介して、発表を聴くのですが、私はすぐに話に落ちこぼれてしまい、あまり楽しむことができませんでした。体調が悪く、集中できなかったのもあると思いたいのですが。しかし、いくつか面白いと思えた話を上げると、(あれ、2つしかない!?)

  • P. Baldiさんの Dropout のモデル
  • Daphne KollerさんのCourseraの話
  • Baldiさんの話は、すでに説明しました。Koller さんの話は、冒頭にまず、最初、Ben Taskar 氏の死を悼む話があり、会場全体で黙祷をした後、自らが co-founder, co-CEO を勤める Coursera の紹介でした。これは、世界のトップクラスの大学の教育をオンラインで無償で受けることができるオンライン教育システムの話で、発展途上国などで貧困に苦しむ家庭の子供達に、そこから抜け出せる機会を作っているもので、すでに数百万人に受講生がいるという。これだでの多くの学生の授業をフォローしたり、スコアを付ける作業は大変であり、そこに機械学習のような技術が不可欠になってくる訳です。このコースを履修して、試験をパスすると、ちゃんと卒業証書を発行してくれるそうで、その代金20ドルが主な収入源になっているようでした。話を聴いている時から、ちょっと胸を打たれていましたが、トークが終わった後、まるで、音楽の演奏会でアンコールをまつような感じで、暫く人々の拍手が止まなかったのが印象的でした。セッションの中休みには、若者達が、スピーカーの Koller さんを取り囲み、熱心に話をしていて、なんて素晴らしい光景だろうと思いました。(下の写真の中心あたり。ちょっと分かり難いですが。)

    DSC03378_50

    ワークショップは、次の2つを聴くことにしました:

  • Planning with Information Constraints for Control, Reinforcement Learning, Computational Neuroscience, Robotics and Games
  • Workshop on Spectral Learning
  • ワークショップの方が、テーマが絞れていて、人数も少なくなるので、議論もし易く、楽しいですね。個人的には、これくらいの規模でないと楽しめないということが、今回、良く分かりました。
    1つ目のワークショップでは、ややマイナーなテーマかもしれませんが、最適制御と量子力学や熱力学などとの間に密接な類似関係があることが知られていて、その関係を積極的にロボット制御などに利用して行こうという話で、自分が物理出身であるということもあり、非常に魅力を感じたテーマでした。しかし、物理出身者からすると、類似の利用の仕方に、若干、違和感も感じないでもなかったので、この違和感を解消することを、まず第一の目標にしようと思いました。
    Spectral Learning は、ここ数年、とても流行っているという印象がありますが、着実にメインの方法として定着していっているように思えます。特に、テンソル量への拡張に興味を感じます。

    NIPSは、あまりに規模が大きく、一人ではごく一部を把握するのがやっとだと体感しました。しかし、得るものも多い会議だとも思うので、来年も参加できると良いと思いますが、一人ではなく、何人かで参加できると良いと思いました。会場もこんな山奥ではなく、カナダのモントリオールに変わるということなので、会議以外も楽しむことができるでしょう。(噂では、この会場は4年ほど使う予定だったそうですが、2年目の今年で終了になったようです。会場を変えたのは、山奥で行き難いとかいう理由かと思っていたら、それよりも会場的に、どうしてもカジノの中を移動しないといけないのが不評であったからということのようです。)

    [おまけ] メインの会場があるホテル。雪が降り、道路に雪が残っています。
    DSC03388_40


    このエントリーをはてなブックマークに追加