メニュー

技術ブログ

Denso IT Lab.社員による技術情報の紹介

Denso IT Laboratory researcher's blog sites

数式

RSS

ページトップへ

ホロノミック勾配法

坂倉(@a2ki)です。

本日は、ホロノミック勾配法について紹介します。

ホロノミック勾配法は、最適化したい関数:g(θ)の導関数が陽に書けない場合の勾配法です。このような環境で愚直に勾配法動かしたいなら、毎STEPで導関数の数値評価が必要になります。それに対し、ホロノミック勾配法は

  • g(θ)の勾配法を、θとg(θ)の連立微分方程式で記述
    • θの微分方程式: 勾配法によるθの更新
    • g(θ)の微分方程式 : θの更新によるg(θ)の導関数の更新(θ更新先でのg(θ)の導関数の値)

することにより

  • 導関数を数値評価は微分方程式の初期値設定時のみで、あとは更新即に従えばOK

を可能にする手法です。

ここで、g(θ)の微分方程式を”素直に”記述すると、無限に高階の導関数が出てくるため、上記方法は実現できません。ホロノミック勾配法は、これを有限の階数の導関数で抑えるため、上記方法の実現が可能となります。これには、グレブナー基底の理論を用います。

さて、ここでホロノミック勾配法が適用可能な関数(ホロノミック関数)が気になるところです。これが、驚くべきことに

  • Z(θ)^-1 * exp(r(x,θ)), r(x,θ): 有理多項式
  • H(多項式), H:ヘビサイド関数
  • |行列多項式|
  • ホロノミック関数の和, 積, 積分

等、非常に広い範囲にわたります(個人的に1個目と2個目を見るとゾクゾクします)。

詳細は、以下のスライドに記述しました。なお、スライド内、グレブナー基底の理論については記述しておりません。その詳細は、スライド内参考文献を見て頂ければと思います。


このエントリーをはてなブックマークに追加

マーク付き点過程

坂倉(@a2ki)です。

マーク付き点過程は、連続空間上に発生する重み付き点を表現する確率過程です。本日は、このマーク付き点過程について、自分の理解のために関連資料をまとめたものアップロードします。
マーク付き点過程は、測度論的な表記に馴染みが無いと読みにくい分野の1つだと思います。なので、測度論的な表記に馴染みのない方(私も含む)の理解の一助になれば幸いです。また、間違いがありましたら、ご指摘いただけると、これまた幸いです。


 

このエントリーをはてなブックマークに追加

確率過程の概観

坂倉(@a2ki)です。

世の中、「確率過程」と呼ばれるものが沢山ありますが、そもそも確率過程とはどういうもので、各手法がどういう関係か良くわからなかったので、整理してみました。

  • Excuse1 : 勉強不足な為ものすごく的外れなことを言っているかもしれません
  • Excuse2 : 図中のP^∞のイメージ図は厳密ではないと思います

このエントリーをはてなブックマークに追加