Кластеризация документов и гауссовых данных с помощью моделей процессов Дирихле

• 30 июня 2014
• Василис Вриниотис
• , Без комментариев

Эта статья является пятой частью учебника по Кластеризация с помощью DPMM, В предыдущих постах мы подробно освещали теоретические основы метода и описывали его математические представления и способы его построения. В этом посте мы попытаемся связать теорию с практикой, введя две модели DPMM: модель многомерного нормального смешения Дирихле, которая может использоваться для кластеризации гауссовских данных, и модель полиномиального смешивания Дирихле, которая используется для кластеризации документов.

Обновление: среда машинного обучения Datumbox теперь с открытым исходным кодом и бесплатна для скачать, Проверьте пакет com.datumbox.framework.machinelearning.clustering, чтобы увидеть реализацию моделей процессов Дирихле в Java.

1. Многомерная модель нормальной смеси Дирихле

Первой моделью смеси процесса Дирихле, которую мы рассмотрим, является многомерная модель нормальной смеси Дирихле, которую можно использовать для кластеризации непрерывных наборов данных. Модель смеси определяется следующим образом:

Уравнение 1: многомерная модель нормальной смеси Дирихле

Как мы можем видеть выше, конкретная модель предполагает, что Генеративное распределение является многочленным гауссовым распределением и использует процесс китайского ресторана, как и ранее для кластерных назначений. Кроме того, для базового распределения G₀ он использует Normal-Inverse-Wishart априори, который сопряженный до многомерного нормального распределения с неизвестным средним и ковариационной матрицей. Ниже мы представляем Графическую модель модели смеси:

Рисунок 1: Графическая модель многомерной модели нормальной смеси Дирихле

Как мы обсуждали ранее, чтобы иметь возможность оценить назначения кластеров, мы будем использовать Свернутая выборка Гиббса который требует выбора соответствующие сопряженные приоры, Кроме того нам нужно будет обновить заданные параметры предшествующий и доказательства, Ниже мы видим Оценки MAP параметров для одного из кластеров:

Уравнение 2: оценки MAP для параметров кластера

Где d - размерность наших данных и образец среднего. Кроме того, у нас есть несколько гиперпараметров Normal-Inverse-Wishart, таких как µ₀ что является начальным средним, κ₀ средняя доля, которая работает как параметр сглаживания, ν₀ это степени свободы, которые установлены на количество измерений и Ψ₀ это произведение парных отклонений, которое устанавливается на единичную матрицу dxd, умноженную на константу. Отныне все предыдущие гиперпараметры G₀ будет обозначаться через λ для упрощения обозначений. Наконец, имея все вышеперечисленное, мы можем оценить вероятности, которые требуются для свернутого образца Гиббса. Вероятность того, что наблюдения i будут принадлежать кластеру k с учетом назначений кластера, набора данных и всех гиперпараметров α и λ для DP и G₀ дается ниже:

Уравнение 3: Вероятности, используемые Гиббсом Сэмплером для МНММ

Где г_i это кластерное назначение наблюдения х_i, Икс_{1: п} полный набор данных, z_-i это набор назначений кластера без одного из я^th наблюдение, х_-i полный набор данных, исключая I^th наблюдение, с_k,-я общее количество наблюдений, назначенных кластеру k, исключая i^th наблюдение в то время как и среднее значение и ковариационная матрица кластера к, исключая I^th наблюдение.

2. Модель смеси Дирихле-Полиномиальная

Модель Дирихле-полиномиальной смеси используется для кластерного анализа документов. Конкретная модель имеет немного более сложную иерархию, поскольку она моделирует темы / категории документов, вероятности слова в каждой теме, кластерные назначения и генеративное распределение документов. Его целью является проведение обучения без учителя и кластеризация списка документов путем распределения их по группам. Модель смеси определяется следующим образом:

Уравнение 4: Дирихле-полиномиальная модель смеси

Где φ моделирует вероятности темы, z_i является селектором темы, θ_k слова вероятности в каждом кластере и х_{I, J} представляет слова документа. Следует отметить, что эта техника использует основа мешка слов который представляет документы как неупорядоченный набор слов, не учитывая грамматику и порядок слов. Это упрощенное представление обычно используется при обработке естественного языка и поиске информации. Ниже мы представляем Графическую модель модели смеси:

Рисунок 2: Графическая модель модели дирихле-полиномиальной смеси

Конкретная модель использует Полиномиальное Дискретное распределение для генеративного распределения и распределения Дирихле для априорных. ℓ - это размер наших активных кластеров, n - общее количество документов, β - априори ожидаемое количество кластеров, а α - количество слов, назначенных каждому кластеру. Для оценки вероятностей, которые требуются Свернутый образец Гиббса мы используем следующее уравнение:

Уравнение 5: Вероятности, используемые Гиббсом Сэмплером для DMMM

Где Γ - гамма-функция, z_i это кластерное назначение документа х_i, Икс_{1: п} полный набор данных, z_-i это набор назначений кластера без одного из я^th документ, х_-i полный набор данных, исключая I^th документ, N_k(z_-i) - количество наблюдений, назначенных кластеру k, исключая i^th документ, N_z=k(x_-i) - вектор с суммами отсчетов для каждого слова для всех документов, назначенных для кластера k, кроме i^th документ и N (х_i) - разреженный вектор с количеством каждого слова в документе x_i, Наконец, как мы можем видеть выше, с помощью свернутого образца Гиббса с китайским рестораном_jk переменная, которая хранит вероятность слова j в теме k, может быть интегрирована.