ディリクレプロセス混合モデル

• 2014 年 6 月 23 日
• ヴァシリス・ヴリニオティス
• 。 2コメント

このブログ投稿は、シリーズの第XNUMX部です。 ディリクレプロセス混合モデルによるクラスタリング。 以前の記事では、有限ディリクレ混合モデルについて説明し、無限kクラスターのモデルの限界を取り上げて、ディリクレプロセスを紹介しました。 見てきたように、私たちの目標は、最初からk個のクラスター/コンポーネントの数を指定する必要のない混合モデルを構築することです。 後 ディリクレ過程のさまざまな表現の提示、今度は実際にDPを使用して、クラスタリングを実行できる無限の混合モデルを構築します。 この記事の目的は、ディリクレプロセス混合モデルを定義し、中華レストランプロセスとギブスサンプリングの使用について説明することです。 以前の投稿を読んでいない場合は、トピックが少し理論的であり、モデルの構築について十分に理解する必要があるため、読むことを強くお勧めします。

更新：Datumbox Machine Learning Frameworkがオープンソースになり、無料で ダウンロード。 パッケージcom.datumbox.framework.machinelearning.clusteringをチェックして、Javaでのディリクレプロセス混合モデルの実装を確認してください。

1.ディリクレプロセス混合モデルの定義

ディリクレプロセスを使用すると、kが無限大の有限モデルの限界を取ると考えることができる、無限成分を持つ混合モデルを作成できます。 次のモデルがあるとします。

方程式1：ディリクレプロセス混合モデル

Gは次のように定義されます & の短い表記として使用 これは、次の場合に1を取るデルタ関数です 他の場所では0。 θ_i Gからサンプリングされたクラスターパラメーターです。生成分布Fはクラスターパラメーターθによって構成されます_i xを生成するために使用されます_i 観察。 最後に、密度分布を定義できます これは、混合比率を含む混合分布（可算無限混合）です。 と混合コンポーネント .

図1：ディリクレプロセス混合モデルのグラフィカルモデル

上の図は、DPMMの同等のグラフィカルモデルを示しています。 G₀ はDPのベース分布であり、計算を簡単にし、魅力的な数学的特性を利用するために、生成分布Fの前に共役になるように選択されます。 αは、ディリクレプロセスのスカラーハイパーパラメーターであり、取得するクラスターの数に影響します。 αの値が大きいほど、クラスターが多くなります。 αが小さいほど、クラスターは少なくなります。 αの値は 信じる力 Gで₀。 値が大きい場合は、ほとんどのサンプルが個別であり、Gに集中した値を持つことを示します。₀。 Gは、パラメーターから確率を割り当てるDPからサンプリングされたΘパラメーター空間上のランダム分布です。 θ_i G分布から描画され、クラスターのパラメーターを含むパラメーターベクトルです。F分布はθでパラメーター化されます_i そしてx_i 生成分布Fによって生成されたデータポイントです。

θは_i Θパラメータ空間の要素であり、クラスタを「構成」します。 それらは、xの潜在変数としても見ることができます_i どのコンポーネント/クラスターからxを教えてくれる_i から来て、このコンポーネントのパラメータは何ですか。 したがって、すべてのx_i 観察し、θ_i G分布から。 ドローごとに、分布は前の選択に応じて変化します。 Blackwell-MacQueen urnスキームで見たように、G分布を統合して、θの将来の選択を統合できます。_i Gのみに依存₀: 。 多くの実装（中華レストランプロセスなど）は、 指数関数的に増加するkコンポーネント。 したがって、ギブスサンプリングなどの近似計算方法が使用されます。 最後に、k個のクラスターが無限であっても、アクティブなクラスターの数は 。 したがって、θ_i 繰り返され、クラスタリング効果を示します。

2.中華レストランのプロセスを使用して無限混合モデルを定義する

前のセグメントで定義されたモデルは数学的に安定していますが、それでも大きな欠点があります。新しいxごとに_i 観察する場合、新しいθをサンプリングする必要があります_i θの以前の値を考慮に入れる。 問題は、多くの場合、これらのパラメーターをサンプリングすることは困難で、計算コストがかかるタスクになる可能性があることです。

別のアプローチは、中華レストランプロセスを使用して潜在変数zをモデル化することです。_i クラスタ割り当ての。 θを使用する代わりにこの方法_i クラスターパラメーターとクラスター割り当ての両方を示すために、潜在変数zを使用します。_i クラスターIDを示し、この値を使用してクラスターパラメーターを割り当てます。 その結果、新しい観測値を取得するたびにθをサンプリングする必要がなくなり、代わりにzをサンプリングしてクラスター割り当てを取得します。_i CRPから。 このスキームでは、新しいクラスターを作成する必要がある場合にのみ、新しいθがサンプリングされます。 以下に、このアプローチのモデルを示します。

方程式2：CRPを使用した混合モデル

上記は、データx_i そして、クラスターが生成されます。 クラスター分析を実行するには、観測値xを使用する必要があります_i そして、クラスター割り当てzを推定します_i.

3.混合モデルの推論とギブスのサンプリング

残念ながら、ディリクレプロセスはノンパラメトリックであるため、 EMアルゴリズムを使用できません クラスター割り当てを格納する潜在変数を推定します。 割り当てを見積もるために、 折りたたまれたギブスサンプリング.

折りたたみギブスサンプリングは、単純なマルコフ連鎖モンテカルロ（MCMC）アルゴリズムです。 これは高速であり、別の変数をサンプリングしながら一部の変数を統合することができます。 それにもかかわらず、このアルゴリズムではGを選択する必要があります₀ これは、方程式を分析的に解くことができ、直接サンプリングできるように、F生成分布の事前共役です。 .

クラスター割り当ての推定に使用する折りたたみギブスサンプリングの手順は次のとおりです。

• zを初期化する_i ランダムにクラスター割り当て
• 収束するまで繰り返す
• ランダムに斧を選択_i
  
• 他のzを保持_j すべてのj≠iについて修正：
• zに新しい値を割り当てます_i zに依存する「CRP確率」を計算する_j そしてx_j すべてのj≠iの：

次の記事では、ディリクレプロセス混合モデルを使用してクラスター分析を実行する方法に焦点を当てます。 連続するデータセットとドキュメントでクラスタリングを実行するために、中華レストランプロセスと折りたたみギブスサンプリングを使用するXNUMXつの異なるディリクレプロセス混合モデルを定義します。