Dirichlet-eloszláson alapuló véges keverékmodell

• May 12, 2014
• Vasilis Vryniotis
• . 4 megjegyzés

Ez a blogbejegyzés a Dirichlet Process keverékmodellekről szóló cikksorozat második része. Az előző cikkben volt egy több klaszterelemzési technika áttekintése és megbeszéltünk néhány problémát/korlátozást, ami a használatuk során felmerül. Ezen kívül röviden bemutattuk a Dirichlet Process Mixture Modelleket, beszéltünk arról, hogy miért hasznosak, és bemutattuk néhány alkalmazásukat.

Frissítés: A Datumbox Machine Learning Framework nyílt forráskódú és ingyenes letöltés. Tekintse meg a com.datumbox.framework.machinelearning.clustering csomagot a Dirichlet Process Mixture Models Java-ban való megvalósításának megtekintéséhez.

A Dirichlet Process Mixture Models kezdetben kissé nehéz lehet lenyelni, elsősorban azért, mert végtelen keverékmodellek sok különböző ábrázolással. Szerencsére egy jó módszer a téma megközelítésére, ha a Dirichlet-eloszlású véges keverékmodellekből indulunk ki, majd áttérünk a végtelenekre.

Ebből adódóan ebben a cikkben röviden bemutatok néhány fontos eloszlást, amelyekre szükségünk lesz, ezek alapján megszerkesztjük a Dirichlet Prior with Multinomial Likelihood modellt, majd áttérünk a Dirichlet-eloszláson alapuló véges keverék modellre.

1. Béta terjesztés

A Béta terjesztés folytonos eloszlások családja, amely a [0,1] intervallumban van definiálva. Két pozitív a és b paraméter paraméterezi, és formája erősen függ e két paraméter kiválasztásától.

1. ábra: Béta eloszlás különböző a, b paraméterekhez

A béta eloszlást általában a valószínűségek közötti eloszlás modellezésére használják, és a következő valószínűségi sűrűséggel rendelkezik:

1. egyenlet: Béta PDF

Ahol Γ(x) a gammafüggvény és a, b az eloszlás paraméterei. A bétát általában valószínűségi értékek eloszlásaként használják, és megadja annak valószínűségét, hogy a modellezett valószínűség megegyezik egy adott P = p0 értékkel. Definíciója szerint a béta eloszlás képes modellezni az igaz vagy hamis értékeket felvevő bináris kimenetelek valószínűségét. Az a és b paraméterek a siker és a kudarc pszeudoszámának tekinthetők. Így a béta eloszlás modellezi a siker valószínűségét a sikerek és b kudarcok esetén.

2. Dirichlet-eloszlás

A Dirichlet-eloszlás a Béta eloszlás általánosítása több kimenetelre (vagy más szóval több kimenetelű eseményekre használják). K paraméterrel van paraméterezve a_i aminek pozitívnak kell lennie. A Dirichlet-eloszlás egyenlő a béta-eloszlással, ha a változók száma k = 2.

2. ábra: Dirichlet-eloszlás különböző a_i paraméterek

A Dirichlet-eloszlást általában a valószínűségek közötti eloszlás modellezésére használják, és a következő valószínűségi sűrűséggel rendelkezik:

2. egyenlet: Dirichlet PDF

Ahol Γ(x) a gammafüggvény, a p_i vegyen értékeket [0,1] és Σp_i=1. A Dirichlet-eloszlás modellezi a p együttes eloszlását_i és megadja a P valószínűségét₁=p₁,P₂=p₂,….,P_k-1=p_k-1 P-vel_k=1 – ΣP_i. Akárcsak a Béta esetében, az a_i paraméterek az egyes i események megjelenésének pszeudoszámlálóinak tekinthetők. A Dirichlet-eloszlást k rivális esemény bekövetkezésének valószínűségének modellezésére használják, és gyakran Dirichlet(a)-ként jelölik.

3. Dirichlet Prior multinomiális valószínűséggel

Amint azt korábban említettük, a Dirichlet-eloszlás a valószínűségi eloszlások közötti eloszlásnak tekinthető. Azokban az esetekben, amikor k esemény bekövetkezésének valószínűségét szeretnénk modellezni, Bayes-féle megközelítést kell használni Multinomial Likelihood és Dirichlet Priors .

Az alábbiakban egy ilyen modell grafikus modelljét láthatjuk.

3. ábra: Multinomiális valószínűségű Dirichlet-priorok grafikus modellje

A fenti grafikus modellben α ak dimenziós vektor Dirichlet priors hiperparamétereivel, p ak dimenziós vektor valószínűségi értékekkel és x_i egy 1 és k közötti skaláris érték, amely megmondja, hogy melyik esemény történt. Végül meg kell jegyeznünk, hogy a P követi az α vektorral paraméterezett Dirichlet-eloszlást és így P ~ Dirichlet(α), míg az x_i a változók a p valószínűségi vektorral paraméterezett diszkrét eloszlást (multinomiális) követik. Hasonló hierarchikus modellek használhatók a dokumentumok osztályozásában a kulcsszó-gyakoriságok eloszlásának ábrázolására a különböző témákban.

4. Véges keverékmodell Dirichlet-eloszlással

A Dirichlet Distribution segítségével megszerkeszthetjük a Véges keverékmodell amelyek segítségével klaszterezést végezhetünk. Tegyük fel, hogy a következő modellünk van:

3. egyenlet: Véges keverékmodell Dirichlet-eloszlással

A fenti modell a következőket feltételezi: Van egy X adatkészletünk n megfigyeléssel, és ezen szeretnénk klaszteranalízist végezni. A k egy állandó véges szám, amely a használni kívánt klaszterek/összetevők számát mutatja. A c_i változók tárolják az X megfigyelés klaszter-hozzárendelését_i, 1-től k-ig veszik az értékeket, és követik a diszkrét eloszlást p paraméterrel, amely a komponensek keveredési valószínűsége. Az F az X-ünk generatív eloszlása, és paraméterezve van ami az egyes megfigyelések klaszter-hozzárendelésétől függ. Összesen van k egyedi klasztereink számával megegyező paraméterek. Az változó tárolja a generatív F eloszlást paraméterező paramétereket, és feltételezzük, hogy egy G bázist követ₀ terjesztés. A p változó minden k klaszterhez tárolja a keverék százalékos arányát, és követi a Dirichlet-t α/k paraméterekkel. Végül az α ak dimenziós vektor a Dirichlet-eloszlás hiperparamétereivel (pszeudoszámlálásával) [2].

4. ábra: Véges keverékmodell grafikus modellje Dirichlet-eloszlással

A modell egyszerűbb és kevésbé matematikai magyarázata a következő. Feltételezzük, hogy adataink k klaszterbe csoportosíthatók. Minden klaszternek saját paraméterei vannak és azokat a paramétereket használjuk fel adataink előállítására. A paraméterek feltételezzük, hogy valamilyen G eloszlást követnek₀. Minden megfigyelést x vektorral ábrázolunk_i és ac_i érték, amely azt a klasztert jelzi, amelyhez tartozik. Ebből következően a c_i egy olyan változónak tekinthető, amely a diszkrét eloszlást követi egy p paraméterrel, amely nem más, mint a keveredési valószínűségek, azaz az egyes klaszterek előfordulási valószínűsége. Tekintettel arra, hogy a problémánkat Bayes-féle módon kezeljük, a p paramétert nem állandó ismeretlen vektorként kezeljük. Ehelyett feltételezzük, hogy a P Dirichlet-t követi, amelyet α/k hiperparaméterek paramétereznek.

5. Munkavégzés végtelen k klaszterekkel

Az előző keverékmodell lehetővé teszi felügyelet nélküli tanulás végrehajtását, Bayes-i megközelítést követ, és kibővíthető hierarchikus szerkezetre. Mindazonáltal ez egy véges modell, mert állandó, előre meghatározott k számú klasztert használ. Ennek eredményeként a fürtelemzés végrehajtása előtt meg kell határoznunk az összetevők számát, és amint azt a legtöbb alkalmazásnál korábban tárgyaltuk, ez ismeretlen és nem könnyen megbecsülhető.

Ennek egyik megoldása, ha elképzeljük, hogy k értéke nagyon nagy, és a végtelenbe hajlik. Más szóval elképzelhetjük ennek a modellnek a határát, amikor k a végtelenbe hajlik. Ha ez a helyzet, akkor láthatjuk, hogy annak ellenére, hogy a k klaszterek száma végtelen, az aktív klaszterek tényleges száma (amelyek rendelkeznek legalább egy megfigyeléssel) nem lehet nagyobb n-nél (ami az adatkészletünkben található megfigyelések teljes száma). Valójában, mint később látni fogjuk, az aktív klaszterek száma lényegesen kevesebb lesz n-nél, és arányosak lesznek .

Természetesen k határát a végtelenbe venni nem triviális. Több kérdés is felmerül, például lehetséges-e ilyen korlátot felvenni, hogyan nézne ki ez a modell és hogyan építhetjük fel és használjon olyan modellt.

A következő cikkben pontosan ezekre a kérdésekre fogunk összpontosítani: definiáljuk a Dirichlet-folyamatot, bemutatjuk a DP különféle reprezentációit, végül pedig a kínai éttermi folyamatra fókuszálunk, amely intuitív és hatékony módja a Dirichlet-folyamat felépítésének.

Remélem hasznosnak találtad ezt a bejegyzést. Ha igen, kérjük, szánjon egy percet a cikk megosztására a Facebookon és a Twitteren. 🙂