メニュー

技術ブログ

Denso IT Lab.社員による技術情報の紹介

Denso IT Laboratory researcher's blog sites

数式

RSS

ページトップへ

SIGNL220

先月九州大学で開かれたNL研で教師なし形態素解析手法について報告を行いました.

今回からNL研では回ごとに優秀研究賞を出していて,記念すべき第一回目には私とNAIST松本研究室の椿さんが選ばれました.

しばらく教師なし形態素解析の研究をしているのですが,やっとなんとかそれなりの結果が出てきました.
それもこれも共著者の持橋先生や塚原さんの協力によるところが大きいです.
自分で選んだ研究テーマなのですが,見通しが甘かったというか実力不足を痛感する1年でした.

このエントリーをはてなブックマークに追加

DSIRNLP#06 Nested Pitman-Yor Language Model

土曜日にDSIRNLPというLINEの佐藤さん(@overlastさん)が主催している勉強会に参加しました.
今回はITラボが会場で,首都大の小町先生に講演にして頂く等ちょっとリッチな内容です.

場所だけ貸してITラボから発表が無いというのも寂しいので,僕も今回は少し長めの時間を頂いて発表をしてきました.
内容は実装したい人のためのNPYLMの解説になります.
実際のContext Treeのノードクラスでは,文脈の管理をmapでやると結構遅くなるので,unordered_mapを使った方が良いと思います.


このエントリーをはてなブックマークに追加

ホロノミック勾配法

坂倉(@a2ki)です。

本日は、ホロノミック勾配法について紹介します。

ホロノミック勾配法は、最適化したい関数:g(θ)の導関数が陽に書けない場合の勾配法です。このような環境で愚直に勾配法動かしたいなら、毎STEPで導関数の数値評価が必要になります。それに対し、ホロノミック勾配法は

  • g(θ)の勾配法を、θとg(θ)の連立微分方程式で記述
    • θの微分方程式: 勾配法によるθの更新
    • g(θ)の微分方程式 : θの更新によるg(θ)の導関数の更新(θ更新先でのg(θ)の導関数の値)

することにより

  • 導関数を数値評価は微分方程式の初期値設定時のみで、あとは更新即に従えばOK

を可能にする手法です。

ここで、g(θ)の微分方程式を”素直に”記述すると、無限に高階の導関数が出てくるため、上記方法は実現できません。ホロノミック勾配法は、これを有限の階数の導関数で抑えるため、上記方法の実現が可能となります。これには、グレブナー基底の理論を用います。

さて、ここでホロノミック勾配法が適用可能な関数(ホロノミック関数)が気になるところです。これが、驚くべきことに

  • Z(θ)^-1 * exp(r(x,θ)), r(x,θ): 有理多項式
  • H(多項式), H:ヘビサイド関数
  • |行列多項式|
  • ホロノミック関数の和, 積, 積分

等、非常に広い範囲にわたります(個人的に1個目と2個目を見るとゾクゾクします)。

詳細は、以下のスライドに記述しました。なお、スライド内、グレブナー基底の理論については記述しておりません。その詳細は、スライド内参考文献を見て頂ければと思います。


このエントリーをはてなブックマークに追加