[發明專利]一種圖像數據多標簽分類方法

在審

• 申請號: 202010573202.0
• 申請日: 2020-06-22
• 公開（公告）號: CN111797911A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 陳剛;胡天磊;陳珂;劉雨辰;李夢謹;王皓波;壽黎但
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種圖像數據多標簽分類方法，其特征在于：包括如下步驟：

(1)獲取有待分類的圖片集D＝{pic_i|1≤i≤n}，其中，n是圖片集D中圖片的總數。圖片集D中，每張圖片上共有q個有序的待標記的標簽，總共有l個圖片已經被標記是否具有這q個標簽，被標記的圖片為pic_i，1≤i≤l。

(2)計算權重矩陣W，構建圖片間的圖關系，該步驟包括以下子步驟：

(2.1)將圖片集中的圖片輸入已經訓練好的卷積神經網絡VGG Net，從輸出中獲取圖片的特征向量集V＝{x_i|1≤i≤n}，其中，x_i是圖片pic_i輸入卷積神經網絡得到的輸出，是p維列向量；

(2.2)選取超參數k，根據圖片特征向量集V計算特征向量x_i的k鄰近集合kNN(x_i)，kNN(x_i)是圖片特征向量集V中與特征向量x_i歐式距離最小的k個圖片特征向量的集合；

對非負權重矩陣W＝[w_ij]_n×n，要求其滿足：

w_ii＝0

w_ij≥0，j≠i，x_j∈kNN(x_i)

w_ij＝0，j≠i，

(2.3)對每個圖片特征向量x_i，被其他圖片特征向量線性重建為∑_j≠iw_ijx_j，選擇權衡參數θ，權重矩陣W的線性重建誤差定義如下：

其中||·||₂表示矩陣的二范數；

利用約束最小二乘規劃方法來最小化線性重建誤差Error(W)，建立以下最小化模型：

s.t.w_ii＝0

w_ij≥0，j≠i，x_j∈kNN(x_i)

w_ij＝0，j≠i，

j＝1，2，...，n

其中，w_·j是W的第j列向量，G^j表示w_·j對應的n行n列的格萊姆矩陣，G^j的第a行第b列元素為(x_j-x_a)′(x_j-x_b)，v′表示某向量v的轉置；

通過凸二次規劃問題的有效集方法求解以上最小化模型獲得非負權重矩陣W，從而構建圖片間的圖關系。

(3)用基于協作的多標簽傳播算法(CMLP)來解決半監督多標簽學習(SSML)問題，從而獲得無標記圖片的置信矩陣包括以下子步驟：

(3.1)通過歸一化權重矩陣W來獲得傳播矩陣P：

其中，D＝diag{d₁，d₂，…，d_n}為對角矩陣，矩陣D的第i個對角元為這樣通過歸一化權重矩陣W來獲得傳播矩陣P，可以確保特征相近的圖片具有的標簽也是相近的；

構建已標記圖片的目標矩陣Y＝[y_ij]_l×q如下：

y_ij＝1，圖片pic_i有第j個標簽

y_ij＝-1，圖片pic_i沒有第j個標簽

選擇協作程度參數α和正則化參數γ，計算相關矩陣R＝[r_ij]_q×q：

其中，y_·j，r_·j表示Y，R的第j列，I表示q×q的單位矩陣，是的轉置矩陣，O_l×1是l維的零列向量。圖像中的多個標簽往往有一定的相關性，如標簽“有太陽”和“是晴天”之間具有很強的相關性。通過計算相關矩陣，本發明提取出了這種相關性。當分類任務具有多個相關標簽時，相關矩陣為提高預測結果的準確性提供了有力的工具。

(3.2)通過迭代交替更新F和Z，最小化以下損失函數：

其中F是模型輸出，F′是F的轉置矩陣，F^l是矩陣F前l行構成的矩陣，代表模型對已有標記的圖像的預測結果，Z是模型的中間變量，P為(2.1)中得到的傳播矩陣，矩陣Q＝(1-α)I+αR，R為(2.1)中得到的相關矩陣，α是(2.1)中選擇的協作程度參數，μ和λ是權衡參數，tr(·)是矩陣的跡函數，||·||_F是矩陣的F-范數。

利用(2.1)中得到目標矩陣Y初始化模型輸出F₀和中間變量Z₀：

Z₀＝Y

其中，O_(n-l)×q是(n-l)×q的零矩陣。

選擇超參數學習速率β、迭代次數T，將初始化后的模型輸出F₀和中間變量Z₀進行更新得到F_t和Z_t，迭代更新公式如下：

其中，是矩陣F_t+1前l行構成的矩陣，Q′是矩陣Q的轉置矩陣。

通過將相關矩陣納入迭代過程，本方法充分利用了標簽之間的相關性，考慮了每一個標簽對其他標簽的預測，提高了預測結果的準確性。

T次迭代結束時，得到模型輸出F＝F_T；

(3.3)將模型輸出F轉換為最終預測：

E＝F^uQ＝[e_ij]_(n-l)×q

其中，F^u是矩陣F第l+1行到第n行構成的矩陣，Q是(2.2)中迭代所使用的矩陣，Ψ是后處理運算符：

其中sgn為符號函數。

得到預測結果，當時，第i+l個圖片上沒有第q個標簽；當時，第i+l個圖片上有第q個標簽；當時，第i+l個圖片上有沒有第q個標簽不確定。