[發明專利]一種基于局部特征增強和并行解碼器的圖像標注方法

在審

• 申請號: 202211399676.3
• 申請日: 2022-11-09
• 公開（公告）號: CN115690449A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 周明亮;韋沛浪;蒲華燕;羅均;魏雪凱;向濤;房斌
• 申請（專利權）人: 重慶大學
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/42;G06V10/80;G06V10/82;G06N3/0464;G06N3/048
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

1.一種基于局部特征增強和并行解碼器的圖像標注方法，其特征在于，包括如下步驟：

S1、從目標圖片數據中提取圖像特征；

S2、將所述圖像特征輸入預先訓練完成的圖像標注模型中；所述圖像標注模型包括：局部特征增強的編碼器模塊、單詞組預測模塊和并行預測單詞的解碼器模塊；

S3、輸出所述目標圖片數據的圖像標注。

2.根據權利要求1所述的一種基于局部特征增強和并行解碼器的圖像標注方法，其特征在于，所述步驟S2中的圖像標注模型訓練過程包括：

S21、從訓練圖片數據中提取圖像特征，對所述訓練圖片數據對應的真實標注進行句法分析，將真實標注劃分成不同的單詞組，構建訓練所需樣本數據集；

S22、將所述圖像特征輸入到局部特征增強的編碼器模塊中，利用多頭自注意力機制和殘差網絡分別提取圖像特征之間的全局和局部特征，融合所述全局和局部特征；

S23、將需要預測的標注分成k個單詞組，通過所述編碼器輸出的特征預測第k個單詞組的單詞數，根據步驟S21中劃分的單詞組，結合標注中當前位置的單詞是否需要參與下一個單詞組的預測，設計解碼器的掩碼矩陣；

S24、在并行預測單詞的解碼器模塊中，通過所述編碼器輸出的特征和對應的真實標注，結合步驟S23中的掩碼矩陣，預測每一個單詞組中，每一個單詞的向量，最終得到解碼器的輸出向量；

S25、根據所述解碼器的輸出向量，針對每一個位置的單詞，利用預測概率最大的單詞表示當前位置的單詞，并連接所有單詞形成最終結果，作為所述訓練圖片數據的預測圖像標注；

S26、通過計算所述訓練圖片數據的預測圖像標注與對應的真實標注的交叉熵損失，以及預測的k個單詞組的單詞數和劃分的單詞數之間的均方誤差，生成總體損失函數；根據所述總體損失函數對所述圖像標注模型進行訓練。

3.根據權利要求2所述的一種基于局部特征增強和并行解碼器的圖像標注方法，其特征在于，所述步驟S1包括：

采用骨干網絡為ResNet101的Faster-RCNN，從目標圖片數據中獲取圖像特征。

4.根據權利要求2所述的一種基于局部特征增強和并行解碼器的圖像標注方法，其特征在于，所述步驟S22中，利用多頭自注意力機制提取圖像特征之間的全局特征：

GF(X)＝Attention(XW_q,XW_k,XW_v) (1)

(1)式中，X表示圖像特征；GF(X)表示全局特征；Attention表示自注意力操作，W_q,W_k,W_v分別表示查詢、鍵和值的權重矩陣。

5.根據權利要求4所述的一種基于局部特征增強和并行解碼器的圖像標注方法，其特征在于，所述步驟S22中，利用殘差網絡提取圖像特征之間的局部特征：

LF(X)＝δ(BN(Conv(X)+X)) (2)

(2)式中，LF(X)表示經過殘差網絡計算后的局部特征；Conv和BN分別表示卷積和批歸一化操作，δ表示Relu激活函數。

6.根據權利要求5所述的一種基于局部特征增強和并行解碼器的圖像標注方法，其特征在于，所述步驟S22中，融合所述全局和局部特征，包括：

1)初次融合所述全局和局部特征：

X'＝GF(X)+LF(X) (3)

上式中，X'表示表示局部特征增強后的全局特征；

2)二次融合：

Y＝LayerNorm(X'+FFN(X')) (4)

上式中，Y表示編碼器的輸出；LayerNorm表示層歸一化操作，FFN表示前饋神經網絡。