[發(fā)明專利]一種多視角強化圖像聚類方法

在審

• 申請?zhí)枺?/td>: 202110879412.7
• 申請日: 2021-08-02
• 公開（公告）號: CN113610139A
• 公開（公告）日: 2021-11-05
• 發(fā)明（設(shè)計）人: 高靜;劉晨欣;金珊;陳志奎;李朋
• 申請（專利權(quán)）人: 大連理工大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 溫福雪

1.一種多視角強化圖像聚類方法，其特征在于，包括以下步驟：

步驟1、預(yù)訓(xùn)練各視角獨立的特征提取網(wǎng)絡(luò)，獲取各視角的潛在特征表示；

特征提取網(wǎng)絡(luò)由n個自編碼器網(wǎng)絡(luò)堆疊而成，而自編碼器網(wǎng)絡(luò)由對稱網(wǎng)絡(luò)結(jié)構(gòu)的編碼層和解碼層構(gòu)成；在訓(xùn)練過程中，將編碼層的最后一層作為隱藏層，并最小化輸入和重構(gòu)間的誤差，獲取蘊含數(shù)據(jù)潛在結(jié)構(gòu)的低維特征表示；

假設(shè)為第v個視角的第j個輸入圖像數(shù)據(jù)，當(dāng)n為1時，自編碼器的輸入為計算過程如下：

其中，為該隱藏層輸出的潛在特征表示，為該自編碼器的重構(gòu)數(shù)據(jù)；和分別為該自編碼器的編碼層和解碼層的激活函數(shù)，為編碼層和解碼層的參數(shù)，該自編碼器的訓(xùn)練采用重構(gòu)損失

當(dāng)n大于1時，第一個自編碼器的輸入為計算過程如(1)(2)所示，其余自編碼器的輸入為第n-1個編碼層的隱藏層特征計算過程如下：

其中，與第一個自編碼器相同，為該隱藏層輸出的潛在特征表示，為該自編碼器的重構(gòu)特征表示；和分別為該自編碼器的編碼層和解碼層的激活函數(shù)，為編碼層和解碼層的參數(shù)；該自編碼器的訓(xùn)練采用重構(gòu)損失

最終，將第v個視角的n個自編碼器拆分為n個編碼層和n個解碼層并按照對稱的方式重新排列為構(gòu)建該視角的特征提取網(wǎng)絡(luò)，部分為編碼器，部分為解碼器；然后，最小化重構(gòu)損失和隨機梯度下降算法對該特征提取網(wǎng)絡(luò)進行訓(xùn)練；

步驟2、預(yù)訓(xùn)練多視角特征融合網(wǎng)絡(luò)，獲取融合特征表示；

將步驟1訓(xùn)練各視角對應(yīng)的特征提取網(wǎng)絡(luò)，生成輸入樣本x^j的各個視角的潛在特征表示H_v并根據(jù)多個視角的互補特性進行串聯(lián)拼接：

H_f＝cat(H₁...H_v) (5)

其中，V為視角的數(shù)量，H₁,…,H_v為各個視角的潛在特征表示，cat(·)表示拼接運算，H_f為融合特征表示；

多視角特征融合網(wǎng)絡(luò)由n個自編碼器網(wǎng)絡(luò)堆疊而成；在訓(xùn)練過程中，該網(wǎng)絡(luò)將融合特征表示H_f作為輸入，其最外側(cè)自編碼器計算過程如下：

其中，為外側(cè)編碼層輸出的潛在特征，該特征維度小于H_f的維度；Ho_f為內(nèi)側(cè)解碼器輸出的重構(gòu)特征，該特征維度等同于的維度；為外側(cè)解碼層輸出的重構(gòu)表示，該特征維度等同于H_f的維度；當(dāng)該網(wǎng)絡(luò)僅由一個自編碼器構(gòu)成時，Ho_f即為G_e,f(·)和G_d,f(·)分別是編碼層和解碼層的激活函數(shù)，為模型參數(shù)；

對于構(gòu)建好的多視角融合網(wǎng)絡(luò)，采用端到端的學(xué)習(xí)方式，通過隨機梯度下降算法和最小化重構(gòu)損失預(yù)訓(xùn)練網(wǎng)絡(luò)；然后，將各個視角的特征提取網(wǎng)絡(luò)的解碼器輸入維度設(shè)置為拼接后的潛在特征H_f的維度，輸入數(shù)據(jù)為

步驟3、初始化聚類環(huán)境，分配伯努利單元；

利用步驟2訓(xùn)練好的多視角特征融合網(wǎng)絡(luò)，生成J個多視角圖像數(shù)據(jù)的多視角融合特征并從中隨機選取K個點作為初始的聚類質(zhì)心集合采用K-means算法在融合特征表示H上更新聚類質(zhì)心集合C，得到K個優(yōu)化后的聚類質(zhì)心；

利用K-means算法優(yōu)化后的聚類質(zhì)心集合作為虛擬原型初始化聚類環(huán)境，并構(gòu)建對應(yīng)的伯努利單元Bunit＝{w,p,dist,F}，存儲當(dāng)前聚類環(huán)境的信息，其中，w為該虛擬原型的權(quán)重，p為該虛擬原型的指示變量，dist為當(dāng)前數(shù)據(jù)點到該虛擬原型的距離，F(xiàn)為狀態(tài)參數(shù)；初始條件下，w設(shè)置為K-means算法更新后的質(zhì)心權(quán)重，p、dist、F設(shè)置為0；

步驟4、多視角強化聚類；

步驟4-1，計算輸入圖像數(shù)據(jù)的多視角融合特征與虛擬原型間的狀態(tài)參數(shù)，度量輸入圖像數(shù)據(jù)對當(dāng)前聚類環(huán)境中虛擬原型的指示程度，并選取臨近虛擬原型作為強化對象；

首先，在輸入圖像的融合特征集合H中隨機選取特征向量h_j，采用歐氏距離計算h_j與虛擬原型c_k間的距離d_k＝Dist(h_j,c_k)；其次，通過Sigmoid函數(shù)計算二者之間的狀態(tài)系數(shù)，計算過程如下：

在獲得狀態(tài)系數(shù)后，使用代價函數(shù)度量多視角圖像潛在特征對虛擬原型的指示程度；計算公式如下：

p_k＝J(d_k)＝2×(1-F(d_k)) (12)

其中，p_k為指示變量，用于表示輸入圖像與虛擬原型c_k的間指示程度；理想情況下，p_k值大，意味著融合特征與聚類原型的距離越小，二者相似度越高，輸入圖像對虛擬原型的指示性越強；反之則越弱；選取指示性較強的虛擬原型作為強化對象；

同時，設(shè)置隨機種子p_s同已選定的虛擬原型的指示變量p_k進行比較，獲得校準(zhǔn)變量y，修正無效虛擬原型對整個聚類結(jié)果的負面影響；計算過程如下：

在執(zhí)行步驟4-1過程中，實時更新聚類環(huán)境中對應(yīng)單元的相關(guān)信息，

步驟4-2，執(zhí)行在線獎賞策略，為臨近虛擬原型分配獎賞信號r；

首先，根據(jù)校準(zhǔn)變量y為選定的強化對象分配獎懲因子r_j：

其中，當(dāng)校準(zhǔn)變量y_j*為1時，選定的強化對象為有效對象，且該單元對應(yīng)的虛擬原型接近輸入圖像并符合理想情況，應(yīng)對施加正向決策，即為其分配獎賞因子，則反之，選定的強化對象為無效對象，且該單元對應(yīng)的虛擬原型遠離輸入圖像而違背理想情況，應(yīng)對施加反向決策，即為其分配懲罰因子；

通過步驟4-1和步驟4-2，更新聚類環(huán)境，迭代收斂至獲得最優(yōu)的虛擬原型作為聚類中心；

步驟5、更新參數(shù)，優(yōu)化聚類結(jié)果；

采用策略梯度算法更新選定的強化對象的權(quán)重參數(shù)，如下公式所示；

其中，α表示學(xué)習(xí)率，其值應(yīng)大于0；r為多視角強化聚類步驟中獲得的獎懲因子，b_j,k為強化基線；g_j＝g_j(y_j；w_j,h_j)為概率密度函數(shù)，該值受輸入圖像的多視角融合特征h_j及其權(quán)重為w_j的選定強化對象在當(dāng)前聚類環(huán)境下校準(zhǔn)變量的影響；用于衡量策略梯度更新過程中的特征變換度，隨概率密度函數(shù)g_j的值發(fā)生改變；

根據(jù)多視角強化聚類的指示程度，聯(lián)合校準(zhǔn)變量和獎賞因子，在設(shè)置強化基線b_j,k＝0的條件下，得到最終的虛擬原型的權(quán)重更新公式：

在迭代優(yōu)化的過程中，虛擬原型通過公式(16)進行更新，當(dāng)聚類結(jié)果達到預(yù)設(shè)訓(xùn)練次數(shù)時，完成多視角強化圖像聚類任務(wù)。

2.根據(jù)權(quán)利要求1所述的多視角強化圖像聚類方法，其特征在于，步驟3所述的K-means聚類算法是根據(jù)距離越小，相似度越大；距離越大，相似度越小的標(biāo)準(zhǔn)，將數(shù)據(jù)點劃分到K個集群中；采用歐氏距離計算各數(shù)據(jù)點間的距離，計算公式如下：

其中，h_i和h_j表示兩個不同的數(shù)據(jù)點的多視角融合特征，Dist(·)表示兩者之間的距離；

在集群的劃分過程中，每次迭代需要重新計算同一集群中的特征的平均值，并將其作為質(zhì)心C＝{c_k|k＝1,2,...,K}，計算公式為：

其中，c_k表示第k個集群的質(zhì)心，h_i表示位于該集群的數(shù)據(jù)點的特征；

首先從樣本集中隨機選取K個點作為初始的聚類質(zhì)心集合采用公式(8)計算各數(shù)據(jù)點與各聚類質(zhì)心的距離，并將各數(shù)據(jù)點分配給距離最近的聚類質(zhì)心，通過啟發(fā)式的迭代方法更新聚類質(zhì)心至收斂，得到K個優(yōu)化后的聚類質(zhì)心作為數(shù)據(jù)點聚類質(zhì)心集合