[發(fā)明專利]基于自監(jiān)督字典學(xué)習(xí)的聚類算法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011118690.2
• 申請(qǐng)日: 2020-10-19
• 公開（公告）號(hào): CN112270345A
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 楊博;劉詩儀
• 申請(qǐng)（專利權(quán)）人: 西安工程大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 弓長

1.一種基于自監(jiān)督字典學(xué)習(xí)的聚類算法，其特征在于，具體按照以下步驟實(shí)施：

步驟1、預(yù)訓(xùn)練深度字典學(xué)習(xí)網(wǎng)絡(luò)；

步驟2、訓(xùn)練自監(jiān)督字典學(xué)習(xí)網(wǎng)絡(luò)。

2.根據(jù)權(quán)利要求1所述的一種基于自監(jiān)督字典學(xué)習(xí)的聚類算法，其特征在于，所述步驟1中深度字典學(xué)習(xí)網(wǎng)絡(luò)是從輸入數(shù)據(jù)到輸出字典都為線性網(wǎng)絡(luò)結(jié)構(gòu)，所述深度字典學(xué)習(xí)網(wǎng)絡(luò)采用逐層訓(xùn)練學(xué)習(xí)的思想，單層字典學(xué)習(xí)由輸入結(jié)點(diǎn)和輸出稀疏表示層構(gòu)成；

所述步驟2中自監(jiān)督字典學(xué)習(xí)網(wǎng)絡(luò)的結(jié)構(gòu)為由深度字典學(xué)習(xí)網(wǎng)絡(luò)和深度字典學(xué)習(xí)網(wǎng)絡(luò)中稀疏表示的網(wǎng)絡(luò)層鏈接出來的分類模塊和聚類模塊構(gòu)成。

3.根據(jù)權(quán)利要求2所述的一種基于自監(jiān)督字典學(xué)習(xí)的聚類算法，其特征在于，所述聚類模塊采用基于圖論的譜聚類方法得到數(shù)據(jù)樣本的聚類簇結(jié)果，將其作為數(shù)據(jù)集的偽標(biāo)簽，并且將聚類輸出結(jié)果轉(zhuǎn)化為對(duì)應(yīng)k維向量，k為聚類簇個(gè)數(shù)，對(duì)應(yīng)分類網(wǎng)絡(luò)，聚類模塊的結(jié)果就作為分類網(wǎng)絡(luò)的訓(xùn)練目標(biāo)；

所述分類模塊結(jié)構(gòu)為兩層全連接層，鏈接在深度字典學(xué)習(xí)的稀疏表示層后，以聚類結(jié)果為訓(xùn)練目標(biāo)，對(duì)數(shù)據(jù)進(jìn)行分類，用于監(jiān)督特征提取和字典學(xué)習(xí)網(wǎng)絡(luò)；

所述聚類模塊采用的譜聚類利用字典學(xué)習(xí)網(wǎng)絡(luò)得到的相似度矩陣W計(jì)算度矩陣D,即相似度矩陣的每一行元素之和，再計(jì)算出拉普拉斯矩陣S：

S＝D-W

將所述拉普拉斯矩陣S中的特征值從大到小排列，計(jì)算前k個(gè)特征值對(duì)應(yīng)的特征向量，用K-means算法對(duì)其聚類，得到k個(gè)聚類簇，即為聚類簇結(jié)果。

4.根據(jù)權(quán)利要求3所述的一種基于自監(jiān)督字典學(xué)習(xí)的聚類算法，其特征在于，所述步驟1將訓(xùn)練數(shù)據(jù)輸入到未經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)中，以將輸入數(shù)據(jù)盡可能稀疏表示為目標(biāo)，利用字典和稀疏表示構(gòu)建的輸入同原始數(shù)據(jù)比較作為深度字典學(xué)習(xí)網(wǎng)絡(luò)的損失函數(shù)L^*在GPU上進(jìn)行訓(xùn)練并保存深度字典學(xué)習(xí)網(wǎng)絡(luò)的參數(shù)，具體按照以下步驟實(shí)施：

步驟1.1、數(shù)據(jù)的預(yù)處理工作，對(duì)圖像進(jìn)行去色及下采樣；

步驟1.2、通過分塊調(diào)試，封裝函數(shù)和整合類別搭建深度字典學(xué)習(xí)網(wǎng)絡(luò)；

步驟1.3、測(cè)試步驟2所得的深度字典學(xué)習(xí)網(wǎng)絡(luò)，將測(cè)試數(shù)據(jù)輸入賦予相關(guān)參數(shù)的網(wǎng)絡(luò)中，測(cè)試是否能重建原始圖像；

步驟1.4、輸入訓(xùn)練數(shù)據(jù)，在GPU上訓(xùn)練深度字典神經(jīng)網(wǎng)絡(luò)，調(diào)整深度字典神經(jīng)網(wǎng)絡(luò)的具體參數(shù)，最后可以得到對(duì)應(yīng)的基于字典的稀疏表示，保存網(wǎng)絡(luò)參數(shù)。

5.根據(jù)權(quán)利要求4所述的一種基于自監(jiān)督字典學(xué)習(xí)的聚類算法，其特征在于，所述步驟2先通過深度字典學(xué)習(xí)網(wǎng)絡(luò)得到數(shù)據(jù)的稀疏表示并構(gòu)建樣本間的相似度矩陣，然后利用現(xiàn)階段的稀疏表示通過在CPU上執(zhí)行的聚類模塊生成的結(jié)果作為偽標(biāo)簽，同時(shí)分類網(wǎng)絡(luò)以偽標(biāo)簽作為訓(xùn)練目標(biāo)對(duì)數(shù)據(jù)進(jìn)行分類操作，通過計(jì)算分類結(jié)果和預(yù)期標(biāo)簽之間的誤差，調(diào)整自監(jiān)督損失函數(shù)L_s再訓(xùn)練，完成神經(jīng)網(wǎng)絡(luò)的反向傳播，實(shí)現(xiàn)自監(jiān)督，提升字典學(xué)習(xí)效率，具體按照以下步驟實(shí)施：

步驟2.1、自監(jiān)督字典學(xué)習(xí)網(wǎng)絡(luò)中的聚類模塊通過在相似度矩陣上應(yīng)用譜聚類得到樣本的聚類簇結(jié)果，所述聚類簇結(jié)果形成的偽標(biāo)簽作為分類網(wǎng)絡(luò)的訓(xùn)練目標(biāo)，每次學(xué)習(xí)過程都會(huì)執(zhí)行一次聚類；

步驟2.2、分類網(wǎng)絡(luò)模塊對(duì)數(shù)據(jù)進(jìn)行分類，同時(shí)利用步驟2.1得到的偽標(biāo)簽和得到的分類結(jié)果構(gòu)建分類損失，實(shí)現(xiàn)對(duì)稀疏表示學(xué)習(xí)的自監(jiān)督作用。

6.根據(jù)權(quán)利要求5所述的一種基于自監(jiān)督字典學(xué)習(xí)的聚類算法，其特征在于，所述步驟2.1具體按照以下步驟實(shí)施：

步驟2.1.1、通過計(jì)算余弦相似度得到相似度矩陣W，將所述相似度矩陣中特征值從大到小排列，取前k個(gè)特征值并計(jì)算對(duì)應(yīng)的特征向量，組成向量矩陣；

步驟2.1.2、將步驟2.1.1得到的向量矩陣聚類成簇，即可得到聚類簇結(jié)果，將所述聚類簇結(jié)果作為學(xué)習(xí)過程中的偽標(biāo)簽。

步驟2.1.3、聚類簇結(jié)果傳到分類模塊，作為分類網(wǎng)絡(luò)的訓(xùn)練目標(biāo)。