[發明專利]一種基于重構圖的圖學習模型

有效

• 申請號: 201910342717.7
• 申請日: 2019-04-26
• 公開（公告）號: CN110097112B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 陳志奎;王勐;高靜;李朋;張清辰
• 申請（專利權）人: 大連理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 梅洪玉;李曉亮

1.一種基于重構圖的圖學習模型，其特征在于，基于重構圖的圖學習模型需要三個階段：圖像間的圖學習，標簽間的圖學習，圖像與標簽之間的映射；在圖像間的圖學習階段，通過最近鄰策略尋找圖像的所有標簽語義近鄰圖像，然后采用圖學習算法挖掘圖像間的深層聯系，繼而得到一個初步的標注評分；在標簽間的圖學習階段，利用隨機點積圖對標簽的內部關聯進行深入挖掘，解決圖像標注模型的標簽共現概率不平衡問題；在圖像與標簽之間的映射階段，采用樸素貝葉斯分類器來建立圖像與標簽之間的聯合似然函數，擬合標簽與圖像間的映射關系，進而得到標簽的標注概率；

第一階段是基于圖像的圖學習階段，具體步驟為：

(1)語義最近鄰的選取過程，通過尋找未標注圖像的語義最近鄰圖像集，提高未標注圖像的標注準確率，設計一種改進的最近鄰策略，具體為：

對于未標注圖像M，在每個標簽v_μ下，通過視覺特征距離，尋找其語義最近的x個圖像組成語義最近鄰集合Se_μ(M)，如公式(1)所示：

其中，X_f為圖像的特征向量，DIS(M,z)為未標注圖像M與圖像z之間的視覺特征距離；

通過為每個標簽尋找未標注圖像M的語義最近鄰圖像集，使得每個標簽以相同的概率出現在未標注圖像M的語義最近鄰圖像集中，降低弱標簽對圖像標注產生的影響；

(2)未標注圖像的相似矩陣重構過程，重構未標注圖像的相似矩陣，用于發掘圖像之間的深層關聯；

為了學習圖像之間的深層關聯，定義由相似圖像集N(M)構成的相似矩陣為W^M，其中W^M是一個n×n的矩陣，W^M_ij的值由公式(1)求得，且W^M_ii＝0；對于給定的相似矩陣W^M，提出基于隨機點積圖的方法對未標注圖像的相似矩陣W^M進行重構；

隨機點積圖是點邊隨機圖模型；隨機點積圖具有良好的聚類性質，可以很好地對現實中圖結構進行聚類；具體地：

隨機圖中的每一條邊都是隨機而獨立地出現的；根據Bernoulli分布：隨機點乘積圖G_X＝(V,E)根據概率p_ij生成邊緣集E，得到觀測圖；如果觀測圖G＝(V,E)是無向加權圖，且其鄰接矩陣為A＝(a_pq)_r×r,a_pq∈[0,1]，則：

其對應的對數似然函數為：

其中，邊緣概率反映了節點之間的相關性；從等式(4)上可以得到當L_X(G)取值最大時，邊的概率盡可能地對應于權值；根據對偶原則：

maxL_X(G)＝minF_Z(X) (5)

其中，因此求解的函數轉化為：

其中，因為相似矩陣W^M的對角元素為零，將公式(6)左邊改寫為矩陣形式為：

minF_Z(X)＝min||X^TX-A-diag(X^TX)|| (7)

因此，基于隨機點積圖的標注圖像的相似矩陣的重構過程如下：

1)首先通過尋找語義最近鄰圖像集Se(M)，然后通過公式(1)構建未標注圖像與Se(M)初始相似矩陣W^Se，其中W^Se是一個(k+1)×(k+1)的矩陣，k＝n×num_label；

2)構建一個全零矩陣D₀，D₀是一個(k+1)×(k+1)的矩陣；

3)對矩陣W^Se+diag(D₀)進行譜分解，得到特征值與特征向量，其中diag(D₀)為矩陣D₀的對角矩陣；

4)為前五個最大的特征值組成的對角矩陣，負特征值變為0，U為前五個特征向量組成的矩陣；令然后將D₀帶入步驟3)中，直到D₀收斂為止；

5)將得到的X帶入到公式(4)中，返回步驟1)，直到L_X(G)收斂，其中T＝X′X,T為重構后的加權矩陣；

(3)圖學習迭代過程：首先，利用訓練圖像特征和訓練圖像的注釋信息；然后，迭代未標注圖像的相似性矩陣，深度挖掘未標記圖像與標記圖像之間的相似性，并根據此相似度將標記圖像中的相應語義標簽傳遞給未標記圖像，迭代通過上述步驟至收斂，最終得到標簽的得分和排序；具體過程如下：

1)根據公式(1)，計算未標注圖像M與其最近鄰圖像集Se(M)的相似矩陣W^Se，其中W^Se是一個(k+1)×(k+1)的矩陣，k＝n×num_label；

2)利用隨機點積圖對相似矩陣W^Se進行重構得到加權矩陣T，進而得到加權相似矩陣W^Se′＝W^Se+ωT，其中ω是權重；

3)對加權相似矩陣W^Se′進行正則化如下：

E＝I^1/2W^Se′I^1/2 (8)

其中，I是一個對角矩陣，

4)通過公式(9)進行迭代，迭代至收斂；

R(t+1)＝αE·R(t)+(1-α)Y (9)

其中，R(0)＝Y，α為圖學習的權重值；當公式(9)迭代至收斂得到R，得到圖像標注的初步結果；

第二階段是基于標簽的圖學習階段，具體步驟為：

為了解決圖像標簽不對稱現象，在計算標簽之間的轉移概率時，使標簽之間的轉移概率盡可能的符合現實生活中的實際情況；為了獲取標簽之間的轉移概率p，標簽v_g轉移到標簽v_m的概率P(v_m|v_g)的計算方式如公式(13)所示：

其中，sum(g)是標簽v_g出現的次數,sum(m,g)是標簽v_g和v_m共同出現的次數；因為sum(g)和sum(m)并不一定相等，所以P(v_g|v_m)和P(v_m|v_g)并不相同；

根據公式(13)，可以得到所有標簽之間的轉移概率矩陣P，并利用隨機點積圖的聚類特性增大關聯標簽之間的轉移概率；

對標簽轉移矩陣P進行重構，過程如下：

1)根據公式(13)，得到所有標簽之間的轉移概率矩陣P；其中P是一個num_label*num_label的矩陣，num_label是標簽的數量；

2)構建一個全零矩陣D，其中D是一個num_label*num_label的矩陣；

3)對矩陣P+diag(D)進行譜分解，得到特征值與特征向量；

4)為前五個最大的特征值組成的對角矩陣，負特征值變為0，U為前五個特征向量組成的矩陣；令然后將D帶入步驟3)中，直到D收斂為止

5)將得到的X帶入到公式(4)中，返回步驟1)，直到L_X(G)收斂，其中P′＝X′X,P′為重構后的標簽轉移概率矩陣；

利用圖學習策略將標簽轉移概率矩陣P′與基于圖像的圖學習階段得到的R帶入公式(15)：

R′(t+1)＝βR(t)·P′+(1-β)R (15)

其中，β為圖學習權重值，迭代多次后，得到基于標簽圖學習的標注得分R′；

第三階段是圖像與標簽之間的映射階段，具體步驟為：

為利用圖像與標簽之間的關系，定義圖像與標簽之間的映射函數如公式(16)所示：

其中，N(M,μ)是代表未標注圖像M的最近鄰圖像集Nei(M)中標記為標簽v_μ的集合，n代表N(M,μ)集合中的圖像數量，K()是一個高斯核函數，K()計算如公式(17)：

其中，f代表圖像的特征，σ為標準方差；

最終，將上述基于圖像的圖學習階段、基于標簽的圖學習階段和圖像與標簽之間的映射階段的得分按照公式(18)進行相加，得到未標注圖像標注的最終結果，計算方式如下所示：

其中，γ+ω+ξ＝1，γ為基于圖像的圖學習過程在總分中所占的權重值，ω基于標簽的圖學習過程在總分中所占的權重值，ξ圖像與標簽之間的映射過程在總分中所占的權重值。