Dokumentumok és Gauss-adatok klaszterezése Dirichlet folyamatkeverék modellekkel

• Június 30, 2014
• Vasilis Vryniotis
• . Nincs hozzászólás

Ez a cikk az oktatóanyag ötödik része Klaszterezés DPMM-mel. Az előző bejegyzésekben részletesen kitértünk a módszer elméleti hátterére, valamint ismertettük annak matematikai reprezentációit és megalkotásának módjait. Ebben a bejegyzésben megpróbáljuk összekapcsolni az elméletet a gyakorlattal két DPMM modell bevezetésével: a Dirichlet Multivariate Normal Mixture Model, amely a Gauss-adatok klaszterezésére használható, és a Dirichlet-Multinomial Mixture Model, amely dokumentumok klaszterezésére szolgál.

Frissítés: A Datumbox Machine Learning Framework nyílt forráskódú és ingyenes letöltés. Tekintse meg a com.datumbox.framework.machinelearning.clustering csomagot a Dirichlet Process Mixture Models Java-ban való megvalósításának megtekintéséhez.

1. A Dirichlet többváltozós normál keverékmodell

Az első Dirichlet-folyamat keverékmodell, amelyet megvizsgálunk, a Dirichlet Multivariate Normal Mixture Model, amely folyamatos adathalmazokon klaszterezésre használható. A keverékmodell meghatározása a következő:

1. egyenlet: Dirichlet többváltozós normál keverékmodell

Amint fentebb láthatjuk, az adott modell feltételezi, hogy a generatív eloszlás a multinomiális Gauss-eloszlás, és a kínai étterem eljárást használja, mint korábban a klaszter-hozzárendeléseknél. Ezenkívül a G alapeloszláshoz₀ a Normal-Inverse-Wishart előzőt használja, amely az konjugált előtt Többváltozós Normál eloszlás ismeretlen átlaggal és kovariancia mátrixszal. Az alábbiakban bemutatjuk a keverékmodell grafikus modelljét:

1. ábra: Dirichlet többváltozós normál keverékmodell grafikus modellje

Amint azt korábban tárgyaltuk, a klaszter-hozzárendelések becsléséhez használjuk a Összecsukott Gibbs-mintavétel amihez ki kell választani a megfelelő konjugált priorok. Ezenkívül frissítenünk kell a megadott paramétereket az előzetes és a bizonyíték. Az alábbiakban látjuk a MAP becslések az egyik klaszter paraméterei közül:

2. egyenlet: MAP becslések a klaszterparamétereken

Ahol d az adataink dimenziója és a minta átlaga. Ezen túlmenően a Normal-Inverse-Wishartnak számos hiperparamétere van, mint például a μ₀ ami a kezdeti átlag, κ₀ a simítási paraméterként működő átlagos tört, ν₀ a szabadságfok, amely a dimenziók számára és Ψ-re van beállítva₀ a páronkénti eltérés szorzata, amely a dxd azonosságmátrixra van beállítva, megszorozva egy konstanssal. Mostantól a G összes korábbi hiperparamétere₀ λ-val lesz jelölve a jelölés egyszerűsítése érdekében. Végül a fentiek birtokában megbecsülhetjük a Collapsed Gibbs Sampler által megkövetelt valószínűségeket. Annak a valószínűsége, hogy az i megfigyelés a k klaszterhez tartozik, a klaszter-hozzárendelések, az adatkészlet, valamint a DP és G összes α és λ hiperparamétere alapján₀ lent van megadva:

3. egyenlet: A Gibbs Sampler által az MNMM-hez használt valószínűségek

Ahol z_i az x megfigyelés klaszter hozzárendelése_i, x_1:n a teljes adatkészlet, z_-i a fürt-hozzárendelések halmaza az i nélkül^th megfigyelés, x_-i a teljes adatkészlet, kivéve az i^th megfigyelés, c_k,-én a k klaszterhez rendelt megfigyelések teljes száma, kivéve az i-t^th megfigyelés közben és a a k klaszter átlaga és kovarianciamátrixa, kivéve az i-t^th megfigyelés.

2. A Dirichlet-Multinomiális keverékmodell

A Dirichlet-Multinomial Mixture Model a dokumentumok klaszteranalízisére szolgál. Az adott modell kissé bonyolultabb hierarchiával rendelkezik, mivel modellezi a dokumentumok témáit/kategóriáit, az egyes témákon belüli szóvalószínűségeket, a klaszter-hozzárendeléseket és a dokumentumok generatív eloszlását. Célja, hogy felügyelet nélküli tanulást hajtson végre, és csoportokhoz rendelje a dokumentumok listáját. A keverékmodell meghatározása a következő:

4. egyenlet: Dirichlet-multinomiális keverékmodell

Ahol φ modellezi a témavalószínűségeket, z_i egy témaválasztó, θ_k a szó valószínűségei minden klaszterben és x_{i, j} a dokumentum szavait jelenti. Meg kell jegyeznünk, hogy ez a technika a zsák-szavas keret amely a dokumentumokat a szavak rendezetlen gyűjteményeként ábrázolja, figyelmen kívül hagyva a nyelvtant és a szórendet. Ezt az egyszerűsített ábrázolást gyakran használják a természetes nyelvi feldolgozásban és információkeresésben. Az alábbiakban bemutatjuk a keverékmodell grafikus modelljét:

2. ábra: A Dirichlet-Multinomiális keverékmodell grafikus modellje

Az adott modell használ Multinomiális Diszkrét eloszlás a generatív eloszláshoz és Dirichlet eloszláshoz a priorokhoz. A ℓ az aktív klasztereink mérete, az n a dokumentumok teljes száma, a β a klaszterek a priori várható számát, míg az α az egyes klaszterekhez rendelt szavak számát. A megkövetelt valószínűségek becsléséhez Összecsukott Gibbs Sampler használjuk a következő egyenlet:

5. egyenlet: A Gibbs Sampler által a DMMM-hez használt valószínűségek

Ahol Γ a gammafüggvény, z_i az x dokumentum klaszter-hozzárendelése_i, x_1:n a teljes adatkészlet, z_-i a fürt-hozzárendelések halmaza az i nélkül^th dokumentum, x_-i a teljes adatkészlet, kivéve az i^th dokumentum, N_k(z_-i) a k klaszterhez rendelt megfigyelések száma i nélkül^th dokumentum, N_z=k(x_-i) egy vektor, amely minden szóhoz tartozó számok összegét tartalmazza a k klaszterhez rendelt összes dokumentumhoz, kivéve i^th dokumentum és N(x_i) az a ritka vektor, amely az x dokumentum egyes szavainak számát tartalmazza_i. Végül, amint fentebb láthatjuk, a Collapsed Gibbs Sampler és a Chinese Restaurant Process segítségével a θ_jk változó, amely a j szó valószínűségét tárolja a k témakörben, integrálható.