Dirichlet Proses Karışım Modeli

• Haziran 23, 2014
• Vasilis Vryniotis
• . 2 Yorumlar

Bu blog yazısı, hakkındaki dizinin dördüncü bölümüdür. Dirichlet Proses Karışım Modelleri ile Kümeleme. Önceki makalelerde Sonlu Dirichlet Karışım Modellerini tartıştık ve bizi Dirichlet Süreçlerinin tanıtımına götüren sonsuz k kümeleri için modellerinin sınırını aldık. Gördüğümüz gibi, hedefimiz baştan itibaren k küme / bileşen sayısını belirlememizi gerektirmeyen bir karışım modeli oluşturmaktır. Sonra Dirichlet Süreçlerinin farklı temsillerini sunmak, artık kümeleme yapmamızı sağlayan sonsuz bir Karışım Modeli oluşturmak için DP'leri fiilen kullanmanın zamanı geldi. Bu makalenin hedefi, Dirichlet Process Mixture Modellerini tanımlamak ve Chinese Restaurant Process ve Gibbs Sampling'in kullanımını tartışmaktır. Önceki yazıları okumadıysanız, konu biraz teorik olduğundan ve modelin yapımı hakkında iyi bir anlayış gerektirdiğinden bunu yapmanız şiddetle tavsiye edilir.

Güncelleme: Datumbox Machine Learning Framework artık açık kaynak kodlu ve ücretsiz indir. Java'da Dirichlet Proses Karışım Modellerinin uygulanmasını görmek için com.datumbox.framework.machinelearning.clustering paketini inceleyin.

1. Dirichlet Proses Karışım Modelinin Tanımı

Dirichlet Süreçlerini kullanmak, k için sonlu modelin sınırını sonsuza kadar almak olarak düşünülebilecek sonsuz bileşenli bir karışım modeline sahip olmamızı sağlar. Aşağıdaki modele sahip olduğumuzu varsayalım:

Denklem 1: Dirichlet Süreci Karışım Modeli

G olarak tanımlandığında ve için kısa bir gösterim olarak kullanılır hangi delta işlevi 1 alırsa ve 0 başka yerde. Θ_i G'den örneklenen küme parametreleridir. Üretken dağıtım F, küme parametreleri ile yapılandırılır θ_i ve x oluşturmak için kullanılır_i gözlemler. Son olarak bir Yoğunluk dağılımı tanımlayabiliriz karışım dağılımımız olan (sayılabilir sonsuz karışım) karışım oranları ile ve bileşenleri karıştırmak .

Şekil 1: Dirichlet Proses Karışım Modelinin Grafik Modeli

Yukarıda DPMM'nin eşdeğer Grafik Modelini görebiliriz. G₀ DP'nin temel dağıtımıdır ve hesaplamaları kolaylaştırmak ve çekici matematiksel özelliklerden yararlanmak için genellikle üretken dağıtımımız F'den önce eşlenik olarak seçilir. Α, Dirichlet Sürecinin skaler hiperparametresidir ve alacağımız küme sayısını etkiler. Α'nın değeri ne kadar büyükse, kümeler o kadar fazla olur; α ne kadar küçükse küme o kadar azdır. Α değerinin şunu ifade ettiğine dikkat etmeliyiz: inancın gücü G cinsinden₀. Büyük bir değer, numunelerin çoğunun farklı olacağını ve G üzerinde konsantre değerlere sahip olacağını gösterir.₀. G, parametrelere olasılıklar atayan DP'den örneklenen Θ parametre alanı üzerinden rastgele bir dağılımdır. Θ_i G dağılımından alınan ve kümenin parametrelerini içeren bir parametre vektörüdür, F dağılımı θ ile parametrelendirilir_i ve x_i Üretici Dağıtım F tarafından oluşturulan veri noktasıdır.

Unutulmamalıdır ki θ_i Θ parametre uzayının öğeleridir ve kümelerimizi "yapılandırırlar". Ayrıca x üzerinde gizli değişkenler olarak da görülebilirler._i bize hangi bileşen / kümeden x'in_i nereden gelir ve bu bileşenin parametreleri nelerdir. Böylece her x için_i gözlemlediğimizde, bir θ çiziyoruz_i G dağılımından. Her çekilişte dağılım önceki seçimlere göre değişir. Blackwell-MacQueen urn şemasında gördüğümüz gibi, G dağıtımı entegre edilebilir ve gelecekteki θ seçimlerimiz_i sadece G'ye bağlıdır₀: . Önceki formülden θi parametrelerinin tahmin edilmesi her zaman mümkün değildir çünkü birçok uygulama (Çin Restoranı Süreci gibi), katlanarak artan k bileşeni. Bu nedenle, Gibbs Örneklemesi gibi yaklaşık hesaplama yöntemleri kullanılır. Son olarak, k kümelerinin sonsuz olmasına rağmen, aktif küme sayısının . Böylece θ_i tekrar edecek ve bir kümeleme etkisi gösterecektir.

2. Bir Sonsuz Karışım Modeli tanımlamak için Çin Restoranı İşlemini Kullanma

Önceki bölümde tanımlanan model matematiksel olarak sağlamdır, ancak yine de büyük bir dezavantajı vardır: her yeni x için_i gözlemlediğimiz için yeni bir θ örneklemeliyiz_i önceki of değerlerini dikkate alarak. Sorun şu ki, birçok durumda, bu parametreleri örneklemek zor ve hesaplama açısından pahalı bir görev olabilir.

Alternatif bir yaklaşım, gizli değişkenleri modellemek için Çin Restoranı Sürecini kullanmaktır z_i küme atamaları. Bu şekilde θ kullanmak yerine_i hem küme parametrelerini hem de küme atamalarını belirtmek için, gizli değişken z'yi kullanıyoruz_i küme kimliğini belirtmek için ve ardından bu değeri küme parametrelerini atamak için kullanın. Sonuç olarak, artık her yeni gözlem aldığımızda a θ 'yi örneklememize gerek kalmaz, bunun yerine küme atamasını z_i CRP'den. Bu şema ile yeni bir θ, yalnızca yeni bir küme oluşturmamız gerektiğinde örneklenir. Aşağıda bu yaklaşımın modelini sunuyoruz:

Denklem 2: CRP ile Karışım Modeli

Yukarıdaki, x verilerinin nasıl olduğunu açıklayan üretici bir modeldir._i ve kümeler oluşturulur. Kümeleme analizini gerçekleştirmek için gözlemleri kullanmalıyız x_i ve küme atamalarını tahmin edin z_i.

3. Karışım Modeli Çıkarımı ve Gibbs Örneklemesi

Ne yazık ki Dirichlet Süreçleri parametrik olmadığından EM algoritmasını kullanamaz küme atamalarını depolayan gizli değişkenleri tahmin etmek. Atamaları tahmin etmek için kullanacağız Daraltılmış Gibbs Örneklemesi.

Daraltılmış Gibbs Örneklemesi, basit bir Markov Zinciri Monte Carlo (MCMC) algoritmasıdır. Hızlıdır ve başka bir değişkeni örneklerken bazı değişkenleri entegre etmemizi sağlar. Yine de bu algoritmalar bir G seçmemizi gerektirir.₀ Denklemleri analitik olarak çözebilmek ve doğrudan örnekleyebilmek için F üretken dağılımından önceki eşlenik olan .

Küme atamalarını tahmin etmek için kullanacağımız Daraltılmış Gibbs Örneklemesinin adımları aşağıdaki gibidir:

• Z'yi başlatın_i rastgele küme atamaları
• Yakınsamaya kadar tekrarlayın
• Rastgele balta seçin_i
  
• Diğerini koru_j her j ≠ i için sabit:
• Z'ye yeni bir değer atayın_i z'ye bağlı "CRP olasılığını" hesaplayarak_j ve x_j tüm j ≠ i:

Bir sonraki makalede Dirichlet Process Mixture modellerini kullanarak küme analizinin nasıl gerçekleştirileceğine odaklanacağız. Sürekli veri kümeleri ve belgeler üzerinde kümeleme yapmak için Çin Restoran Süreci ve Daraltılmış Gibbs Örneklemesini kullanan iki farklı Dirichlet İşlem Karışımı Modeli tanımlayacağız.