Belgeleri ve Gauss verilerini Dirichlet Proses Karışım Modelleri ile kümeleme

• Haziran 30, 2014
• Vasilis Vryniotis
• . Yorum yok

Bu makale, eğitimin beşinci bölümüdür. DPMM ile Kümeleme. Önceki gönderilerde yöntemin teorik arka planını ayrıntılı olarak ele aldık ve matematiksel temsillerini ve onu inşa etme yollarını anlattık. Bu yazıda, iki model DPMM sunarak teoriyi pratiğe bağlamaya çalışacağız: Gauss verilerini kümelemek için kullanılabilecek Dirichlet Çok Değişkenli Normal Karışım Modeli ve belgeleri kümelemek için kullanılan Dirichlet-Çok Terimli Karışım Modeli.

Güncelleme: Datumbox Machine Learning Framework artık açık kaynak kodlu ve ücretsiz indir. Java'da Dirichlet Proses Karışım Modellerinin uygulanmasını görmek için com.datumbox.framework.machinelearning.clustering paketini inceleyin.

1. Dirichlet Çok Değişkenli Normal Karışım Modeli

İnceleyeceğimiz ilk Dirichlet Süreci karışım modeli, sürekli veri kümeleri üzerinde kümeleme yapmak için kullanılabilen Dirichlet Çok Değişkenli Normal Karışım Modelidir. Karışım modeli şu şekilde tanımlanır:

Denklem 1: Dirichlet Çok Değişkenli Normal Karışım Modeli

Yukarıda görebileceğimiz gibi, belirli model, Üretken Dağıtımın Çok Terimli Gauss Dağılımı olduğunu varsayar ve küme atamaları için önceki gibi Çin Restoranı sürecini kullanır. Üstelik Temel dağıtım G için₀ Normal-Ters-Wishart öncesini kullanır; önceki eşlenik Bilinmeyen ortalama ve kovaryans matrisi ile Çok Değişkenli Normal dağılım. Aşağıda karışım modelinin Grafik Modelini sunuyoruz:

Şekil 1: Dirichlet Çok Değişkenli Normal Karışım Modelinin Grafik Modeli

Daha önce tartıştığımız gibi, küme atamalarını tahmin edebilmek için, Daraltılmış Gibbs örneklemesi bu, seçmeyi gerektirir uygun eşlenik öncelikler. Ayrıca, verilen posterior parametreleri güncellememiz gerekecek önceki ve kanıt. Aşağıda görüyoruz MAP tahminleri kümelerden biri için parametrelerin:

Denklem 2: Küme Parametrelerinde MAP tahminleri

D, verilerimizin boyutudur ve örnek ortalamadır. Ayrıca, μ gibi Normal-Ters-Wishart'ın birkaç hiperparametresine sahibiz.₀ bu başlangıç ​​ortalamasıdır, κ₀ yumuşatma parametresi olarak çalışan ortalama kesirdir, ν₀ boyutların sayısına ayarlanan serbestlik derecesidir ve Ψ₀ bir sabit ile çarpılan dxd kimlik matrisine ayarlanan ikili sapma ürünüdür. Şu andan itibaren G'nin tüm önceki hiperparametreleri₀ gösterimi basitleştirmek için λ ile gösterilecektir. Son olarak, yukarıdakilerin tümüne sahip olarak, Daraltılmış Gibbs Örnekleyicisinin gerektirdiği olasılıkları tahmin edebiliriz. Küme atamaları, veri kümesi ve DP ile G'nin tüm hiperparametreleri α ve λ verildiğinde, i gözleminin k kümesine ait olma olasılığı₀ aşağıda verilmiştir:

Denklem 3: Gibbs Sampler tarafından MNMM için kullanılan olasılıklar

Nerede z_i gözlemin küme atamasıdır x_i, x_{1: n,} tam veri kümesidir, z_-i i'nin biri olmadan küme atamaları kümesidir^th gözlem, x_-i i hariç tam veri kümesidir^th gözlem, c_k,-ben i hariç k kümesine atanan toplam gözlem sayısıdır^th sırasında gözlem ve i hariç k kümesinin ortalama ve kovaryans matrisidir^th gözlem.

2. Dirichlet-Multinomial Karışım Modeli

Dirichlet-Multinomial Karışım Modeli, belgelerin küme analizi yapmak için kullanılır. Belli model, belgelerin konularını / kategorilerini, her bir konudaki kelime olasılıklarını, küme atamalarını ve belgelerin üretken dağılımını modellediği için biraz daha karmaşık bir hiyerarşiye sahiptir. Hedefi, denetimsiz öğrenme gerçekleştirmek ve bir belge listesini gruplara atayarak kümelemektir. Karışım modeli şu şekilde tanımlanır:

Denklem 4: Dirichlet-Multinomial Karışım Modeli

Φ konu olasılıklarını modellerken, z_i konu seçicidir, θ_k her kümedeki kelime olasılıkları ve x_{i, j} belge sözcüklerini temsil eder. Bu tekniğin kullandığını not etmeliyiz kelimeler torbası çerçevesi Bu, belgeleri dilbilgisi ve kelime sırasını göz ardı ederek sırasız bir kelime koleksiyonu olarak temsil eder. Bu basitleştirilmiş temsil, genellikle doğal dil işleme ve bilgi erişiminde kullanılır. Aşağıda karışım modelinin Grafik Modelini sunuyoruz:

Şekil 2: Dirichlet-Multinomial Karışım Modelinin Grafik Modeli

Belirli model kullanır Çok terimli Ayrık dağılım üretimsel dağıtım için ve öncelikler için Dirichlet dağıtımları. ℓ aktif kümelerimizin boyutu, n toplam belge sayısı, β önceden beklenen küme sayısını kontrol ederken, α her kümeye atanan kelimelerin sayısını kontrol eder. Gereksinim duyduğu olasılıkları tahmin etmek için Daraltılmış Gibbs Örnekleyici kullanıyoruz aşağıdaki denklem:

Denklem 5: Gibbs Sampler tarafından DMMM için kullanılan olasılıklar

Γ gama işlevi nerede, z_i x belgesinin küme atamasıdır_i, x_{1: n,} tam veri kümesidir, z_-i i'nin biri olmadan küme atamaları kümesidir^th belge, x_-i i hariç tam veri kümesidir^th belge, N_k(z_-i) i hariç k kümesine atanan gözlemlerin sayısıdır^th belge, N_z=k(x_-i), i hariç k kümesine atanan tüm belgeler için her kelime için toplam sayımları içeren bir vektördür.^th belge ve N (x_i) x belgesindeki her sözcüğün sayısını içeren seyrek vektördür_i. Son olarak, yukarıda görebileceğimiz gibi, Çin Restoranı İşlemi ile Çöktürülmüş Gibbs Örnekleyicisini kullanarak θ_jk k konusundaki j kelimesinin olasılığını saklayan değişken entegre edilebilir.