[發(fā)明專利]基于貝葉斯混合公共因子分析器的高維數(shù)據(jù)的聚類方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201310133415.1
• 申請(qǐng)日: 2013-04-17
• 公開（公告）號(hào): CN103226595A
• 公開（公告）日: 2013-07-31
• 發(fā)明（設(shè)計(jì)）人: 魏昕;李宗辰
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 南京知識(shí)律師事務(wù)所 32207
• 代理人: 汪旭東

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于貝葉斯混合公共因子分析器的高維數(shù)據(jù)的聚類方法，屬于高維數(shù)據(jù)的處理方法與應(yīng)用技術(shù)領(lǐng)域。

?

背景技術(shù)

隨著采集和存儲(chǔ)技術(shù)的不斷發(fā)展，高維和超高維的數(shù)據(jù)不斷涌現(xiàn)。例如，基于內(nèi)容的圖像檢索和文檔檢索中屢見不鮮的上萬維人臉圖像和幾十萬維的網(wǎng)頁文本、語音與音頻信號(hào)處理中不可避免出現(xiàn)的高維特征矢量、生物信息學(xué)中對(duì)生物組織進(jìn)行聚類分析中的高維基因表達(dá)數(shù)據(jù)，等等。很顯然，維數(shù)越高（對(duì)象的屬性越多），可以更加全面地刻畫所描述的對(duì)象以及更好地分辨對(duì)象。然而，當(dāng)數(shù)據(jù)樣本量不大的時(shí)候，過高的維數(shù)不可避免地對(duì)數(shù)據(jù)的處理提出了嚴(yán)峻的挑戰(zhàn)。“維數(shù)災(zāi)難”便是一個(gè)非常棘手的問題。此外，過高的維數(shù)也帶來了極高的計(jì)算負(fù)擔(dān)，并且使得相關(guān)問題難以理解和表示，更不可能實(shí)現(xiàn)可視化。因此，如何實(shí)現(xiàn)對(duì)高維數(shù)據(jù)準(zhǔn)確、高效地分析與處理，已經(jīng)成為相關(guān)技術(shù)領(lǐng)域和實(shí)際應(yīng)用中一個(gè)極具挑戰(zhàn)性的問題。

對(duì)于大部分觀測(cè)或采集到的高維數(shù)據(jù)而言，其主要信息存在于一個(gè)低維空間中。因此，如何在低維空間中有效地刻畫高維數(shù)據(jù)的有用信息，從而設(shè)計(jì)出相應(yīng)的降維算法，對(duì)于該問題的解決方法不僅有著重要的學(xué)術(shù)意義，而且具有重大的應(yīng)用價(jià)值。混合因子分析器（MFA）是用以對(duì)高維觀測(cè)數(shù)據(jù)各個(gè)維數(shù)分量之間的內(nèi)部依賴關(guān)系進(jìn)行建模，從而達(dá)到對(duì)數(shù)據(jù)進(jìn)行降維處理的一種統(tǒng)計(jì)分析工具，MFA在圖像與視頻處理、生物信息處理等領(lǐng)域都有著廣泛的應(yīng)用。然而，基于MFA的高維數(shù)據(jù)處理方法，特別是用于聚類時(shí)，仍然存在局限性。首先，在MFA中，由于每個(gè)混合成分都具有不同的因子載荷矩陣，模型的總體參數(shù)個(gè)數(shù)較多，并且現(xiàn)有MFA是基于最大似然準(zhǔn)則進(jìn)行模型的推理和參數(shù)估計(jì)的，因此在高維數(shù)據(jù)的樣本數(shù)目不大的時(shí)候容易出現(xiàn)過擬合問題；其次，也是最重要的一點(diǎn)，在數(shù)據(jù)聚類的應(yīng)用中的大多數(shù)情況下，類別的數(shù)目預(yù)先是未知的，如果設(shè)定過高或過低，都會(huì)影響最終聚類結(jié)果的準(zhǔn)確性，并且對(duì)于高維數(shù)據(jù)而言，這個(gè)問題將會(huì)變得更加困難，如何在降維的同時(shí)，根據(jù)高維數(shù)據(jù)自適應(yīng)地確定出最優(yōu)的類別數(shù)，從而獲得較好地聚類性能，是高維數(shù)據(jù)聚類技術(shù)和方法中面臨的難題和關(guān)鍵之處。本發(fā)明解決了現(xiàn)有技術(shù)的缺陷，提出了一種基于貝葉斯混合公共因子分析器的高維數(shù)據(jù)的聚類方法。

?

?發(fā)明內(nèi)容

本發(fā)明提出了一種基于貝葉斯混合公共因子分析器的高維數(shù)據(jù)的聚類方法，其包括以下步驟：

（1）設(shè)待聚類的高維數(shù)據(jù)集合????????????????????????????????????????????????，其中為高維數(shù)據(jù)的個(gè)數(shù)，每個(gè)數(shù)據(jù)的維數(shù)為；建立貝葉斯混合公共因子分析器（BMCFA）模型，用該模型來表示的分布；即，BMCFA為一個(gè)成分?jǐn)?shù)為的混合模型；對(duì)于每一高維數(shù)據(jù)，其可以表示為

?????以概率（），???（式1）

其中，為與高維數(shù)據(jù)相對(duì)應(yīng)并且與成分相關(guān)的低維空間中的因子，它的維數(shù)為（）,?的值根據(jù)具體問題中的大小進(jìn)行選取：遍歷之間的所有整數(shù)，每個(gè)候選的做一次聚類，取性能最好的那次對(duì)應(yīng)的作為最終的值；為的因子載荷矩陣；誤差變量服從高斯分布，其中為的對(duì)角矩陣；概率滿足；

（2）根據(jù)待處理的高維數(shù)據(jù)，基于貝葉斯準(zhǔn)則，對(duì)步驟（1）中建立好的貝葉斯混合公共因子分析器（BMCFA）模型進(jìn)行推理；在完成這一推理過程后，對(duì)于每一個(gè)高維數(shù)據(jù)，可以得到與其相對(duì)應(yīng)的指示變量的后驗(yàn)期望值，，其中表示當(dāng)前高維數(shù)據(jù)是由混合模型中的第個(gè)成分產(chǎn)生的概率；

（3）判決：將中的最大值所對(duì)應(yīng)的序號(hào)作為所最終分配到的類，即

?；??????（式2）

用這樣的方式得到高維數(shù)據(jù)集中所有數(shù)據(jù)的聚類結(jié)果。

在所述的基于貝葉斯混合公共因子分析器的高維數(shù)據(jù)的聚類方法中，對(duì)步驟（1）中所述的建立貝葉斯混合公共因子分析器（BMCFA）模型的過程中，各變量的條件似然分布、先驗(yàn)分布指定如下：

（1-1）設(shè)定一個(gè)與中每個(gè)數(shù)據(jù)一一對(duì)應(yīng)的指示變量集合，其中與對(duì)應(yīng)的為一個(gè)維矢量，在該矢量中只有一個(gè)元素為1，其余為0；當(dāng)?shù)牡趥€(gè)元素時(shí)（此時(shí)其他元素都為0），表明是由第個(gè)成分產(chǎn)生的；那么，關(guān)于混合權(quán)值的條件分布為

???????????（式3）

（1-2）用均值為，協(xié)方差矩陣為的高斯分布來定義的分布；那么，所屬的集合關(guān)于,,的條件分布為

；?????????（式4）

（1-3）根據(jù)（式1），高維數(shù)據(jù)集關(guān)于的條件分布為

；??????（式5）

（1-4）因子載荷矩陣的分布設(shè)定為其行向量的乘積，每個(gè)行向量服從高斯分布