Dirichleti protsessi segumudel

• Juuni 23, 2014
• Vasilis Vryniotis
• . 2 kommentaari

See blogipostitus on sarja neljas osa Klasterdamine Dirichleti protsessisegude mudelitega. Eelmistes artiklites arutasime lõplikke Dirichleti segumudeleid ja võtsime nende mudeli piirid lõpmatu k klastri jaoks, mis viis meid Dirichleti protsesside kasutuselevõtuni. Nagu nägime, on meie eesmärk luua segumudel, mis ei nõua meilt algusest peale k klastri/komponendi arvu määramist. Pärast esitledes Dirichlet' protsesside erinevaid esitusi, on nüüd aeg reaalselt kasutada DP-sid, et konstrueerida lõpmatu segumudel, mis võimaldab meil rühmitada. Selle artikli eesmärk on määratleda Dirichlet' protsessi segumudelid ning arutada Hiina restoraniprotsessi ja Gibbsi proovide võtmise kasutamist. Kui te pole eelnevaid postitusi lugenud, siis on tungivalt soovitatav seda teha, kuna teema on veidi teoreetiline ja eeldab head arusaamist mudeli ehitamisest.

Värskendus: Datumboxi masinõppe raamistik on nüüd avatud lähtekoodiga ja tasuta lae alla. Tutvuge paketiga com.datumbox.framework.machinelearning.clustering, et näha Dirichleti protsessisegude mudelite rakendamist Javas.

1. Dirichlet' protsessi segumudeli definitsioon

Dirichleti protsesside kasutamine võimaldab meil luua lõpmatute komponentidega segumudeli, mida võib arvata kui k lõpliku mudeli piiri võtmist lõpmatusse. Oletame, et meil on järgmine mudel:

Valem 1: Dirichlet' protsessi segumudel

Kus G on määratletud kui ja kasutatakse lühimärgena mis on deltafunktsioon, mis võtab 1 kui ja 0 mujal. θ_i on klastri parameetrid, mis on võetud G-st. Generatiivne jaotus F on konfigureeritud klastri parameetritega θ_i ja seda kasutatakse x genereerimiseks_i tähelepanekud. Lõpuks saame määratleda tiheduse jaotuse mis on meie segujaotus (loendatav lõpmatu segu) koos segamisproportsioonidega ja komponentide segamine .

Joonis 1: Dirichlet' protsessi segumudeli graafiline mudel

Ülalpool näeme DPMM-i samaväärset graafilist mudelit. G₀ on DP põhijaotus ja see valitakse tavaliselt konjugeerimiseks enne generatiivset jaotust F, et hõlbustada arvutusi ja kasutada ahvatlevaid matemaatilisi omadusi. α on Dirichleti protsessi skalaarne hüperparameeter ja see mõjutab saadavate klastrite arvu. Mida suurem on α väärtus, seda rohkem on klastreid; mida väiksem on α, seda vähem klastreid. Peaksime märkima, et α väärtus väljendab usu tugevus aastal G₀. Suur väärtus näitab, et enamik proove on erinevad ja nende väärtused on keskendunud G-le₀. G on juhuslik jaotus Θ parameetriruumis, mis on võetud DP-st, mis määrab parameetritele tõenäosused. θ_i on parameetrivektor, mis on koostatud G jaotusest ja sisaldab klastri parameetreid, F jaotus on parameetritega θ_i ja x_i on generatiivse jaotuse F genereeritud andmepunkt.

Oluline on märkida, et θ_i on parameetriruumi Θ elemendid ja need "konfigureerivad" meie klastreid. Neid võib näha ka x-i varjatud muutujatena_i mis ütlevad meile, millisest komponendist/klastrist on x_i pärit ja millised on selle komponendi parameetrid. Seega iga x kohta_i mida me vaatleme, joonistame θ_i G jaotusest. Iga loosi korral muutub jaotus olenevalt eelmistest valikutest. Nagu nägime Blackwell-MacQueeni urniskeemist, saab G-jaotuse integreerida ja meie tulevased θ-valikud_i sõltuvad ainult G-st₀: . Parameetrite θi hindamine eelmisest valemist ei ole alati teostatav, kuna paljud rakendused (nt Hiina restoraniprotsess) hõlmavad loendamist eksponentsiaalselt suurenev k komponent. Seega kasutatakse ligikaudseid arvutusmeetodeid, näiteks Gibbsi proovivõttu. Lõpuks peaksime märkima, et kuigi k klastreid on lõpmatu arv, on aktiivsete klastrite arv sama . Seega θ_i kordab ja avaldab rühmitusefekti.

2. Hiina restoraniprotsessi kasutamine lõpmatu segumudeli määratlemiseks

Eelmises segmendis määratletud mudel on matemaatiliselt kindel, kuid sellel on suur puudus: iga uue x puhul_i mida me vaatleme, peame proovima uue θ_i võttes arvesse θ varasemaid väärtusi. Probleem on selles, et paljudel juhtudel võib nende parameetrite valimi võtmine olla keeruline ja arvutuslikult kulukas ülesanne.

Alternatiivne lähenemisviis on kasutada Hiina restorani protsessi varjatud muutujate z modelleerimiseks_i klastriülesannetest. Sel viisil θ asemel_i nii klastri parameetrite kui ka klastri määrangute tähistamiseks kasutame varjatud muutujat z_i klastri ID märkimiseks ja seejärel kasutage seda väärtust klastri parameetrite määramiseks. Selle tulemusena ei pea me enam valima θ iga kord, kui saame uue vaatluse, vaid selle asemel saame klastri määramise, valides z._i CRP-st. Selle skeemi abil võetakse uus θ valim ainult siis, kui peame looma uue klastri. Allpool tutvustame selle lähenemisviisi mudelit:

Valem 2: CRP-ga segumudel

Ülaltoodud on generatiivne mudel, mis kirjeldab, kuidas andmed x_i ja klastrid luuakse. Klasteranalüüsi tegemiseks peame kasutama vaatlusi x_i ja hinnata klastri ülesandeid z_i.

3. Segumudeli järeldus ja Gibbsi proovide võtmine

Kahjuks kuna Dirichleti protsessid on mitteparameetrilised, siis me ei saa kasutada EM-algoritmi et hinnata varjatud muutujaid, mis salvestavad klastri ülesandeid. Ülesannete hindamiseks kasutame Gibbsi proovivõtt ahendatud.

Collapsed Gibbs Sampling on lihtne Markovi ahela Monte Carlo (MCMC) algoritm. See on kiire ja võimaldab meil integreerida mõned muutujad, samal ajal kui võtame teise muutuja valimi. Sellegipoolest nõuavad need algoritmid, et valiksime G₀ mis on F generatiivse jaotuse konjugaatprior, et oleks võimalik võrrandeid analüütiliselt lahendada ja võtta otse valimi .

Ahendatud Gibbsi proovivõtu etapid, mida kasutame klastri määramiste hindamiseks, on järgmised:

• Initsialiseerige z_i klastri ülesandeid juhuslikult
• Korrake kuni lähenemiseni
• Valige juhuslikult ax_i
  
• Hoidke teine ​​z_j fikseeritud iga j≠i jaoks:
• Määrake z-le uus väärtus_i z-st sõltuva “CRP tõenäosuse” arvutamisega_j ja x_j kõigist j≠i:

Järgmises artiklis keskendume sellele, kuidas teha klastrianalüüsi Dirichlet Process Mixture mudelite abil. Me määratleme kaks erinevat Dirichleti protsessi segumudelit, mis kasutavad pidevate andmekogumite ja dokumentide rühmitamiseks Hiina restoraniprotsessi ja ahendatud Gibbsi proovivõttu.