[發明專利]基于圖像屬性主動學習的細粒度圖像分類方法

有效

• 申請號: 202011325873.1
• 申請日: 2020-11-23
• 公開（公告）號: CN112528058B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 宋凌云;彭楊柳;李偉;尚學群;俞夢真;李建鰲;李戰懷;賀夢婷
• 申請（專利權）人: 西北工業大學
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06N3/04;G06N3/08
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 云燕春

1.一種基于圖像屬性主動學習的細粒度圖像分類方法，其特征在于包括以下步驟：

步驟1，圖像分類數據處理：

步驟1.1，屬性預處理，將屬性信息進行按類統計，刪除其中出現頻率小于20％的屬性，對所得屬性進行類別的合并，共得到N個屬性分組；

步驟1.2，圖像預處理，將圖像隨機翻轉和裁剪為224×224×3的尺寸；

步驟2，提取和篩選圖像屬性特征：

步驟2.1，圖像視覺特征提取：采用預訓練的VGG-16網絡對原始圖像進行特征提取，取VGG-16網絡第四個卷積塊、尺寸為28×28×512的輸出作為圖像的特征；

步驟2.2，生成屬性掩模：使用預訓練的全卷積網絡得到224×224×N的分數矩陣，使用區域插值法將該矩陣尺寸縮小為28×28×N作為每組屬性的權重，其中N表示屬性組的個數；

步驟2.3，屬性特征篩選：對每組得到的屬性權重，與視覺特征進行按位相乘；因為每組的權重值不同，不同屬性分組將放大其所關注的不同的視覺特征，而縮小對其不重要的視覺特征，從而篩選出每個大組所關注的不同視覺特征，共得到N個大小為28×28×512的屬性特征；

步驟3，基于屬性對圖像進行分類：

步驟3.1，屬性預測向量生成：將步驟2得到的屬性特征通過卷積和池化操作生成屬性預測向量，與真實的屬性計算交叉熵損失Attribute_loss；

步驟3.2，基于屬性的圖像分類：分別將屬性預測向量和真實向量通過基于屬性的分類器得到預測的細粒度分類標簽向量p1和p2，與真實的類別標簽向量p0計算分類損失classification_loss2，計算過程如下：

classification_loss2＝L_crossentropy(p1，p2)+L_crossentropy(p1，p0)

其中L_crossentropy(·)表示交叉熵損失函數；

步驟4，基于主動學習進行圖片選擇；

步驟4.1，視覺特征分類預測；使用VGG-16網絡得到的圖像視覺特征進行細粒度分類，得到的類別預測標簽向量記為p3；

步驟4.2，圖片選擇；利用步驟3得到的p1與p2計算置信度損失EC_loss：

EC_loss＝||p₁-p₂||₂+||p₂-p₃||₂

以此作為選擇圖片的依據，當輸入圖片EC_loss大于某個閾值時，才計算步驟3.1中的屬性損失Attribute_loss，即在訓練時加入該圖片的真實屬性信息，否則，模型只得到圖片的細粒度預測類別標簽向量p1。

2.根據權利要求1所述的基于圖像屬性主動學習的細粒度圖像分類方法，其特征在于：所述步驟2.3中所述的屬性篩選方法，具體在于：

對不同屬性組的視覺特征按屬性的不同進行權重加成，采用如下步驟得到N個分組、尺寸為28×28×512的屬性特征圖：

(1)對進行過像素分割的每張圖像進行預處理；將分割圖片中每個點的像素值設為該點對應的屬性組標簽，背景標簽用0表示；

(2)在全卷積網絡中輸入圖像和對應的分割圖像，得到N個尺寸為224×224的分數矩陣；每個屬性組都有一個分數矩陣，按通道進行softmax操作得到屬性組權重，其值的大小表示每個像素點屬于該屬性組的概率大小；

(3)通過經典的分類模型VGG-16網絡提取視覺特征，取第四個卷積塊的輸出結果作為圖像特征，VGG-16的前四層卷積塊與全卷積共享權重參數，通過VGG-16網絡輸出尺寸為28×28×512的視覺特征；

(4)將全卷積得到的屬性組權重作為掩模對視覺特征進行篩選；對224×224的分數矩陣進行區域插值計算使其尺寸縮小為28×28，與視覺特征保持一致；將N個縮小后的屬性組權重矩陣分別與VGG-16提取到的視覺特征矩陣進行按位相乘，得到N個尺寸為28×28×512的被篩選后的特征矩陣，因為每組的權重值不同，與視覺特征進行乘法操作使得不同屬性分組放大其關注的不同的視覺特征。