[發明專利]一種基于蒙特卡羅數據均衡的圖像自動標注方法

有效

• 申請號: 201610007726.7
• 申請日: 2016-01-06
• 公開（公告）號: CN105701502B
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 柯逍;杜明智;周銘柯
• 申請（專利權）人: 福州大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 蔡學俊

1.一種基于蒙特卡羅數據均衡的圖像自動標注方法，其特征在于：包括以下步驟：

步驟S1：對公共圖像庫中的訓練集圖像進行自動分割；

步驟S2：采用綜合距離圖像特征匹配方法對分割后的圖像進行自動匹配，將具有相同特征與相似特征的圖像歸為一類，并且貼上相應的標注詞；不同類別的圖像集具有不同描述的標注詞；

步驟S3：對具有不同標注詞的各個類別圖像集進行蒙特卡羅數據集均衡，每個類別的圖像具有同一標注詞，不同類別的圖像集的描述詞不同；

步驟S4：分別提取各個類別圖像集中圖像的多尺度融合特征，再進行特征直方圖統計，形成最終的特征向量；

步驟S5：將提取后的圖像特征輸入到魯棒性最小二乘增量極限學習機中進行分類訓練，得到圖像自動標注過程中的分類模型；

步驟S6：對公共圖像庫中待標注的圖像進行自動分割，提取相應的融合特征，形成最終的特征向量，并將提取后得到的特征向量輸入到所述步驟S5中的分類模型中，得到最終的圖像標注結果；

其中，所述步驟S2中采用的綜合距離圖像特征匹配方法包括以下步驟：

步驟S21：選擇一個分割后的區域作為種子圖像：選擇分割后標注詞為bear的一個分割區域作為種子圖像，并令該種子圖像為X_bear；設置一個置信因子τ，當兩個區域的特征相似度距離小于所述置信因子時，則所述兩個區域同屬于一個類別，即所述兩個區域具有相同的關鍵詞描述；

步驟S22：從圖像庫中選擇含有標注詞為bear的圖像集φ(Y)＝{Y₁,Y₂.....Y_k}(1≤k≤n)，其中n表示的是圖像庫中的圖像個數；假設滿足該要求的某一張圖像Y_k，其分割后的區域為由于每張主題照片的關鍵詞不超過5個，則分割區域控制在5個之內，并且分割的準則根據該張圖片的標注詞個數；

步驟S23：設X_bear的多尺度融合特征向量為X_bear＝{x_bear1,x_bear2.......x_bearm}，m代表其特征維度，其中多尺度下的HOG特征向量為ω維，LBP的特征向量維數為σ維，HSV的特征向量維數為δ維，滿足ω+σ+δ＝m；則樣本的特征向量描述為：X_bear＝[x_bear,1...x_bear,ω|x_bear,ω+1..x_bear,ω+σ|x_bear,ω+σ+1..x_{bear,ω+σ+δ}]，并采用同樣的方式表示X_c(1≤c≤5)區域的特征向量，設X_c＝[x_c,1...x_c,ω|x_c,ω+1..x_c,ω+σ|x_c,ω+σ+1..x_c,ω+σ+δ]；

再給出以下的數學定義：

上述式中：定義表示X_bear，X_c兩者的綜合特征距離，d₁表示兩者多尺度HOG特征下的歐式特征距離，d₂表示兩者LBP特征下的曼哈頓特征距離，d₃表示兩者HSV特征下的直方特征距離，λ₁,λ₂,λ₃分別表示不同特征距離的影響因子；當時，X_c區域為X_bear的最佳匹配分割區域，并將該區域加入該種子圖像集之中；返回步驟S22，計算φ(Y)中的所有元素；若φ(Y)中的元素均計算過，則進入下一步；

步驟S24：返回步驟S21，重復步驟S21、步驟S22、步驟S23的計算，直到所有的標注詞所對應的圖像全部正確的被歸類后結束。