[發(fā)明專利]基于自監(jiān)督字典學(xué)習(xí)的聚類算法

在審

• 申請?zhí)枺?/td>: 202011118690.2
• 申請日: 2020-10-19
• 公開（公告）號: CN112270345A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 楊博;劉詩儀
• 申請（專利權(quán)）人: 西安工程大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 弓長

本發(fā)明公開了本發(fā)明提供了一種基于自監(jiān)督字典學(xué)習(xí)的聚類算法，該方法在深度字典學(xué)習(xí)的基礎(chǔ)上應(yīng)用自監(jiān)督技術(shù)，先通過深度字典學(xué)習(xí)網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行稀疏表示并構(gòu)建相似度矩陣，然后分別鏈接在稀疏表示層后的聚類模塊利用相似度矩陣對數(shù)據(jù)進(jìn)行標(biāo)注形成偽標(biāo)簽和分類網(wǎng)絡(luò)模塊實(shí)現(xiàn)對數(shù)據(jù)的分類操作，分類結(jié)果與聚類得到的偽標(biāo)簽相比較，構(gòu)建自監(jiān)督損失，實(shí)現(xiàn)對字典學(xué)習(xí)網(wǎng)絡(luò)的監(jiān)督。本發(fā)明為如何充分利用深度字典學(xué)習(xí)訓(xùn)練過程中無標(biāo)簽數(shù)據(jù)的內(nèi)在特征提供解決方案，利用已得到的結(jié)果來約束學(xué)習(xí)過程，優(yōu)化整個(gè)深度字典學(xué)習(xí)網(wǎng)絡(luò)，同時(shí)提升字典學(xué)習(xí)的性能。

技術(shù)領(lǐng)域

本發(fā)明屬于知識(shí)表示技術(shù)領(lǐng)域，涉及一種基于自監(jiān)督字典學(xué)習(xí)的聚類算法。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)的快速發(fā)展，復(fù)雜的高維數(shù)據(jù)信息呈指數(shù)增長，關(guān)于如何對數(shù)據(jù)進(jìn)行獲取、壓縮、存儲(chǔ)、傳輸和分析的問題吸引大量學(xué)者的關(guān)注。字典學(xué)習(xí)和稀疏表示是尋找復(fù)雜數(shù)據(jù)的潛在特征表示的方法之一，應(yīng)用于計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)等領(lǐng)域，并且取得優(yōu)秀成果。聚類作為無監(jiān)督學(xué)習(xí)領(lǐng)域的重要分支，是處理高維數(shù)據(jù)的重要任務(wù)之一，在計(jì)算機(jī)視覺、生物信息等領(lǐng)域均有應(yīng)用價(jià)值。

字典學(xué)習(xí)和稀疏表示求解或稀疏編碼問題一直深受學(xué)界和工業(yè)界的關(guān)注，很多研究人員對于本發(fā)明提到的字典學(xué)習(xí)和聚類任務(wù)有過類似嘗試，Pablo Sprechmann等人提出一個(gè)Cross-Incoherence項(xiàng)重新定義稀疏表示的標(biāo)準(zhǔn)，并且在聚類過程中為每一個(gè)數(shù)據(jù)的類別都定義字典，構(gòu)建一個(gè)不斷學(xué)習(xí)字典和再聚類的框架，提高稀疏表達(dá)和聚類的有效性。

由于數(shù)據(jù)量的不斷增長，相應(yīng)的處理需求也在不斷擴(kuò)大。在考慮解決計(jì)算兩問題上，Sujit Kumar Sahoo等人研究發(fā)現(xiàn)一種結(jié)合K-means聚類和奇異值(Singular ValueDecomposition)分解的K-SVD字典學(xué)習(xí)方法，由于奇異值分解的使用干擾了稀疏編碼和原子的單位范數(shù)，因此無法保留任何結(jié)構(gòu)稀疏性，但因其順序算法而能用較少的資源進(jìn)行計(jì)算；MOD(Method of Optimal Directions)算法既能保留結(jié)構(gòu)稀疏性還能簡化了K-means算法，類似于K均值聚類的一種并行推廣；由于順序算法所需計(jì)算資源更少，因此提出一種SKG算法(SEQUENTIAL GENERALIZA TION OF K-MEANS)替代MOD算法，提高計(jì)算速度。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于自監(jiān)督字典學(xué)習(xí)的聚類算法，具有實(shí)現(xiàn)聚類得到的偽標(biāo)簽和分類得到的分類標(biāo)簽相比較，構(gòu)建自監(jiān)督損失，實(shí)現(xiàn)自監(jiān)督效果的特點(diǎn)。

本發(fā)明所采用的技術(shù)方案是，基于自監(jiān)督字典學(xué)習(xí)的聚類算法，具體按照以下步驟實(shí)施：

步驟1、預(yù)訓(xùn)練深度字典學(xué)習(xí)網(wǎng)絡(luò)；

步驟2、訓(xùn)練自監(jiān)督字典學(xué)習(xí)網(wǎng)絡(luò)。

本發(fā)明的特點(diǎn)還在于：

步驟1中深度字典學(xué)習(xí)網(wǎng)絡(luò)是從輸入數(shù)據(jù)到輸出字典都為線性網(wǎng)絡(luò)結(jié)構(gòu)，深度字典學(xué)習(xí)網(wǎng)絡(luò)采用逐層訓(xùn)練學(xué)習(xí)的思想，單層字典學(xué)習(xí)由輸入結(jié)點(diǎn)和輸出稀疏表示層構(gòu)成；

步驟2中自監(jiān)督字典學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)為由深度字典學(xué)習(xí)網(wǎng)絡(luò)和深度字典學(xué)習(xí)網(wǎng)絡(luò)中稀疏表示的網(wǎng)絡(luò)層鏈接出來的分類模塊和聚類模塊構(gòu)成。

聚類模塊采用基于圖論的譜聚類方法得到數(shù)據(jù)樣本的聚類簇結(jié)果，將其作為數(shù)據(jù)集的偽標(biāo)簽，并且將聚類輸出結(jié)果轉(zhuǎn)化為對應(yīng)k維向量，k為聚類簇個(gè)數(shù)，對應(yīng)分類網(wǎng)絡(luò)，聚類模塊的結(jié)果就作為分類網(wǎng)絡(luò)的訓(xùn)練目標(biāo)；

分類模塊結(jié)構(gòu)為兩層全連接層，鏈接在深度字典學(xué)習(xí)的稀疏表示層后，以聚類結(jié)果為訓(xùn)練目標(biāo)，對數(shù)據(jù)進(jìn)行分類，用于監(jiān)督特征提取和字典學(xué)習(xí)網(wǎng)絡(luò)；

聚類模塊采用的譜聚類利用字典學(xué)習(xí)網(wǎng)絡(luò)得到的相似度矩陣W計(jì)算度矩陣D,即相似度矩陣的每一行元素之和，再計(jì)算出拉普拉斯矩陣S：

S＝D-W