[發明專利]一種數據均衡策略和多特征融合的圖像標注方法

有效

• 申請號: 201810324274.4
• 申請日: 2018-04-12
• 公開（公告）號: CN108595558B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 梁泉;張毓峰;田健
• 申請（專利權）人: 福建工程學院
• 主分類號: G06F16/483
• 分類號: G06F16/483;G06V10/764;G06V10/80;G06K9/62
• 代理公司: 福州市鼓樓區京華專利事務所(普通合伙) 35212
• 代理人: 林云嬌

1.一種數據均衡策略和多特征融合的圖像標注方法，其特征在于：包括如下步驟：

步驟S1、對訓練圖像進行語義分組，即將一個標簽中所包含的所有圖像作為一個語義組；

步驟S2、采用數據均衡策略對語義組進行擴充；

步驟S3、將訓練圖像輸入到訓練好的深度卷積神經網絡中，通過卷積和下采樣的多次迭代將訓練圖像抽象為特征向量，并得到每個語義組中各圖像的深度特征；

步驟S4、計算每個語義組中各圖像的多尺度融合特征；

步驟S5、將多尺度融合特征與由深度卷積神經網絡計算得到的深度特征進行多特征融合，得到每個語義組中各圖像的融合特征；

步驟S6、提取待測試圖像的淺層特征和深度特征，并進行特征融合，得到待測試圖像的融合特征；

步驟S7、計算待測試圖像的融合特征與每個語義組中各圖像的融合特征的視覺相似度并排序，得到圖像標注結果，從而獲得類別標簽；

在所述步驟S2中，采用數據均衡策略對語義組進行擴充，具體包括如下步驟：

步驟S21、計算數據集分類均衡數目其中，count(s_j)(1≤j≤c)表示的是該語義組對應的圖像集數目，c表示語義組的數量；

步驟S22、對于數據集而言，如果某個語義組或者某些語義組對應的圖像集數目大于或者等于數據集分類均衡數目：則不進行數據集擴充，跳轉到步驟S28；如果某個語義組或者某些語義組對應的圖像集數目小于數據集分類均衡數目：則進行數據集擴充，并且擴充的大小為進入步驟步驟S23；

步驟S23、計算不同語義組標注詞的最大加權復合特征距離：和最小加權復合特征距離：并且保存最小加權復合特征距離對應的特征向量作為基準向量：X_min＝[x_min1,x_min2........x_minm]，得到圖像特征的均衡步長α＝(x_min1+x_min2......+x_minm)/m；

步驟S24、產生高斯隨機向量Y_i＝[y_i1,y_i2.......y_im]；

步驟S25、用式子X_e＝X_min+αe^βY_i和X_e＝[x_e1,x_e2......x_em]計算出一個與訓練圖像具有同樣特征維數大小的向量X_e，其中，β表示碰撞因子；

步驟S26、利用式子：計算當前加權復合特征距離其中，d_i-ho表示的是多尺度下HOG特征的空間度量，計算公式為：d_il-z表示的是LBP特征的空間度量，計算公式為：參數μ和η分別表示不同特征度量下的調節因子；

步驟S27、如果滿足式子：則將X_e合理的均衡樣本：k＝k+1加入該語義組圖像的訓練集合之中；如果不滿足式子：則均衡樣本不加入圖像的訓練集合之中；

步驟S28、對數據集中每個語義組重復上述步驟，當所有需要均衡的語義組的圖像采用上述步驟S21至步驟S27的方法合理的擴充后，均衡算法結束；

在所述步驟S4中，計算每個語義組中各圖像的多尺度融合特征，具體包括如下步驟：

步驟S41、令分割后的圖像區域集合為ψ(Z)＝{Z₁,Z₂...Z_n}，其中n為圖像集中的元素個數，選擇尺寸大小為w₁×w₂的提取窗口、b₁×b₂的提取塊和c₁×c₂的提取單元；令窗口滑動步長大小為s₁×s₂；

步驟S42、定義變量i,j,k,s分別為圖像集中的元素個數、多尺度下圖像組數、多尺度下圖像層數的遍歷變量和多尺度下的窗口個數；對于每一組遍歷變量利用式：s＝(((w₁-b₁)/s₁)+1)×(((w₂-b₂)/s₂)+1)×(b₁×b₂)/(c₁×c₂)計算出多尺度下的窗口個數s；

步驟S43、計算當前尺度下當前窗口內圖像的局部特征向量：φ(Z_i-j-k-s-hog)；

步驟S44、計算該圖像多尺度下的HOG特征向量：φ(Z_i-multi-hog)；

步驟S45、計算該圖像的LBP紋理特征向量：φ(Z_i-lbp)；

步驟S46、計算該圖像基于全局信息的HSV顏色特征向量：φ(Z_i-hsv)；

步驟S47、計算出該圖像的多尺度特征向量：

φ(Z_k}＝{φ(Z_i-j-k-s-hog),φ(Z_i-multi-hog),φ(Z_i-lbp),φ(Z_i-hsv)}(1≤k≤n}。