メニュー

技術ブログ

Denso IT Lab.社員による技術情報の紹介

Denso IT Laboratory researcher's blog sites

数式

RSS

ページトップへ

「Vanishing Component Analysis を試作してみました」の補足

ただ今、台湾旅行の帰りの飛行機待ちの時間を利用して、前回投稿したVCAの試作プログラムを使って、もう少しトイデータを使って、分析してみました。


ソースコードも、以下に少し改訂したものを置いておきます(VCA内の特異値計算で、その最大値の減少を利用して停止するロジックを追加したもの。その他、マイナーなカスタマイズ):

https://github.com/htsukahara/vca/tree/master/sources/vca-1.0.1

このエントリーをはてなブックマークに追加

論文紹介:Practical Bayesian Optimization of Machine Learning Algorithms(NIPS2012)

はじめまして、宇土敬祐(@utotch)と申します。

普段の仕事では、機械学習やロボティックス、画像処理等の研究をやっていますが、趣味でHaskell や圏論の勉強をしたりしています。よろしく御願いします。

私は、先日 ICML2013に出張してきたのですが、Vanishing Component Analysis の話を 塚原と鈴木に紹介したら、一気に私より詳しくなってアクセル全開で解説を始めてしまいました。(もはや私の立場が形無し…(泣))

私の方は、もっとゆったりと行きたいと思います。

NIPS2012 の論文紹介で、Gaussian Process を使って機械学習器のハイパーパラメータをチューニングするお話です。

私が素朴に伝えたいのは、この論文そのものというより、Gaussian Process の直感的なイメージと用途です。

私はPRMLでGaussian Process (ガウス過程) を読んだときはよく理解できなかったのですが、 この論文を読んで、初めて Gaussian Processというものの直感的イメージと使われ方が分かりました。

Gaussian Process は “関数(無限次元ベクトル)の分布” を扱う道具なんですね。

ガウス分布が平均と分散で形が決まるのに対し、Gaussian Process は平均”関数”とカーネルで形が決まるというアナロジーで捉えると腑に落ちました。

関数の分布を表現し、データが観測される度に関数が詳細に分かっていくイメージです。

以下が紹介資料です。


このエントリーをはてなブックマークに追加

VCA ついでに

VCA は多項式の計算が結構大変そうなので(kernelほどじゃないにせよ)、一度学習した構造をフラットにする→最小二乗法チックに表現しなおすことができると、結構よさげなのではないかと思いました。
最も低次なVCの次数を調べて、そこまでで展開して、係数をLSで求める、、というのが非エレガントで直感的なやり方ですかね。

このエントリーをはてなブックマークに追加