[發(fā)明專利]基于貝葉斯混合公共因子分析器的高維數(shù)據(jù)的聚類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310133415.1
• 申請(qǐng)日: 2013-04-17
• 公開(kāi)（公告）號(hào): CN103226595A
• 公開(kāi)（公告）日: 2013-07-31
• 發(fā)明（設(shè)計(jì)）人: 魏昕;李宗辰
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 南京知識(shí)律師事務(wù)所 32207
• 代理人: 汪旭東

1.基于貝葉斯混合公共因子分析器的高維數(shù)據(jù)的聚類方法，其特征在于，包括以下步驟：

（1）設(shè)待聚類的高維數(shù)據(jù)集合????????????????????????????????????????????????，其中為高維數(shù)據(jù)的個(gè)數(shù)，每個(gè)數(shù)據(jù)的維數(shù)為；建立貝葉斯混合公共因子分析器（BMCFA）模型，用該模型來(lái)表示的分布；即，BMCFA為一個(gè)成分?jǐn)?shù)為的混合模型；對(duì)于每一高維數(shù)據(jù)，其可以表示為

?????以概率（），???（式1）

其中，為與高維數(shù)據(jù)相對(duì)應(yīng)并且與成分相關(guān)的低維空間中的因子，它的維數(shù)為（）,?的值根據(jù)具體問(wèn)題中的大小進(jìn)行選取：遍歷之間的所有整數(shù)，每個(gè)候選的做一次聚類，取性能最好的那次對(duì)應(yīng)的作為最終的值；為的因子載荷矩陣；誤差變量服從高斯分布，其中為的對(duì)角矩陣；概率滿足；

（2）根據(jù)待處理的高維數(shù)據(jù)，基于貝葉斯準(zhǔn)則，對(duì)步驟（1）中建立好的貝葉斯混合公共因子分析器（BMCFA）模型進(jìn)行推理；在完成這一推理過(guò)程后，對(duì)于每一個(gè)高維數(shù)據(jù)，可以得到與其相對(duì)應(yīng)的指示變量的后驗(yàn)期望值，，其中表示當(dāng)前高維數(shù)據(jù)是由混合模型中的第個(gè)成分產(chǎn)生的概率；

（3）判決：將中的最大值所對(duì)應(yīng)的序號(hào)作為所最終分配到的類，即

?；??????（式2）

用這樣的方式得到高維數(shù)據(jù)集中所有數(shù)據(jù)的聚類結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于貝葉斯混合公共因子分析器的高維數(shù)據(jù)的聚類方法，其特征在于，步驟（1）中所述的建立貝葉斯混合公共因子分析器（BMCFA）模型的過(guò)程中，各變量的條件似然分布、先驗(yàn)分布的步驟如下：

（1-1）設(shè)定一個(gè)與中每個(gè)數(shù)據(jù)一一對(duì)應(yīng)的指示變量集合，其中與對(duì)應(yīng)的為一個(gè)維矢量，在該矢量中只有一個(gè)元素為1，其余為0；當(dāng)?shù)牡趥€(gè)元素時(shí)（此時(shí)其他元素都為0），表明是由第個(gè)成分產(chǎn)生的；那么，關(guān)于混合權(quán)值的條件分布為

???????????（式3）

（1-2）用均值為，協(xié)方差矩陣為的高斯分布來(lái)定義的分布；那么，所屬的集合關(guān)于,,的條件分布為

；?????????（式4）

（1-3）根據(jù)（式1），高維數(shù)據(jù)集關(guān)于的條件分布為

；??????（式5）

（1-4）因子載荷矩陣的分布設(shè)定為其行向量的分布的乘積，每個(gè)行向量服從高斯分布

，?????（式6）

其中，為一個(gè)對(duì)角線元素為的對(duì)角矩陣，服從Gamma分布

，???????（式7）

其中為Gamma分布的超參數(shù)；

（1-5）設(shè)定,的先驗(yàn)分布為Gaussian-Wishart聯(lián)合分布：

，???????（式8）

其中為Gaussian-Wishart聯(lián)合分布中的超參數(shù)；

（1-6）設(shè)定混合權(quán)值的先驗(yàn)分布為Dirichlet分布：

，?????????（式9）

其中為上述Dirichlet分布的超參數(shù)。

3.根據(jù)權(quán)利要求1所述的基于貝葉斯混合公共因子分析器的高維數(shù)據(jù)的聚類方法，其特征在于，步驟（2）中所述的對(duì)貝葉斯混合公共因子分析器（BMCFA）模型進(jìn)行推理過(guò)程的步驟如下：

（2-1）設(shè)定的值，該值根據(jù)待聚類的高維數(shù)據(jù)集的類別數(shù)來(lái)確定；如果類別數(shù)C在聚類開(kāi)始之前就已知，則，如果類別數(shù)未知，則設(shè)定為之間的任意正整數(shù)；

（2-2）隨機(jī)產(chǎn)生個(gè)服從區(qū)間上均勻分布的整數(shù)，統(tǒng)計(jì)該區(qū)間上各整數(shù)出現(xiàn)的概率；即，如果產(chǎn)生了個(gè)整數(shù)，，那么；對(duì)于每個(gè)，對(duì)應(yīng)的隱變量的初始分布和其期望分別為

??????????（式10）

（2-3）設(shè)定超參數(shù),,的值和矩陣的值；對(duì)于所有的（），,,,,；,，其中為小于0.1的任意正數(shù)；為單位矩陣；在首次迭代更新中，,,；此外，產(chǎn)生的初始值，即，該矩陣中的每一個(gè)元素（）服從標(biāo)準(zhǔn)正態(tài)分布，那么與有關(guān)的統(tǒng)計(jì)量的初始值為：，，；

設(shè)定推理過(guò)程中迭代次數(shù)的計(jì)數(shù)變量，開(kāi)始迭代；

（2-4）更新的后驗(yàn)分布，即

，?????????（式11）

其中，超參數(shù)的更新公式為

????????????（式12）

??????（式13）

在（式13）中，為中的第維分量，為對(duì)角矩陣的逆矩陣中的第行第列元素；那么，關(guān)于的統(tǒng)計(jì)量隨之更新為：

????????（式14）

（2-5）更新的后驗(yàn)分布，即

?????????????????????????（式15）

其中，超參數(shù)的更新公式為：

，??，??????????????????????（式16）

（式16）中的為矢量中的第個(gè)元素；那么關(guān)于的統(tǒng)計(jì)量隨之更新為

?????????（式17）

（2-6）更新的后驗(yàn)分布，即

??????????????（式18）

其中，超參數(shù)的更新公式為

?????????（式19）

????????????????（式20）

那么，關(guān)于的統(tǒng)計(jì)量隨之更新為：

?????????????（式21）

（2-7）更新的后驗(yàn)分布，即

???????????????????????????（式22）

其中，超參數(shù)的更新公式為

，????????????????????????（式23）

那么，關(guān)于的統(tǒng)計(jì)量隨之更新為：

；?????????????（式24）

（式24）中的為標(biāo)準(zhǔn)的digamma函數(shù)；

（2-8）更新的后驗(yàn)分布，即

???????（式25）

其中，超參數(shù)的更新公式為：

，?????????????????????（式26）

，????????（式27）

，???????（式28）

；???????????????????????（式29）

那么，關(guān)于,的統(tǒng)計(jì)量隨之更新為：

，???（式30）

（式31）

（2-9）更新的后驗(yàn)分布，即

?，??????（式32）

其中，

???（式33）

??????（式34）

（式31）和（式34）中的都表示矩陣的跡（trace）；那么，關(guān)于的統(tǒng)計(jì)量隨之更新為：

?????????????????????（式35）

（2-10）更新對(duì)角矩陣，其對(duì)角線上的第個(gè)元素為

；?（式36）

（2-11）計(jì)算當(dāng)前迭代后的似然值，為當(dāng)前的迭代次數(shù)；

????????（式37）

（2-12）計(jì)算當(dāng)前迭代后與上一次迭代后的似然值的差值；如果，那么BMCFA模型的推理過(guò)程結(jié)束，否則轉(zhuǎn)到步驟（2-4），的值增加1，繼續(xù)進(jìn)行下一次的迭代；閾值的取值范圍為~；需要注意的是，第一次迭代結(jié)束時(shí)，只需計(jì)算，并將的值增加1，無(wú)需進(jìn)行的判斷，直接進(jìn)入下一次迭代。