[發明專利]用于云聯邦的圖像中的目標物識別方法及裝置

在審

• 申請號: 202011641087.2
• 申請日: 2020-12-31
• 公開（公告）號: CN112733686A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 程家明;孔繁東;周志祥;彭楊
• 申請（專利權）人: 武漢興圖新科電子股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 張毅

1.一種用于云聯邦的圖像中的目標物識別方法，其特征在于，所述用于云聯邦的圖像中的目標物識別方法包括以下步驟：

對原始圖像進行Random-Batch images處理，獲得處理后圖像；

將所述處理后圖像與所述原始圖像融合后輸入ResNet網絡，進行特征提取，獲得特征圖；

將所述特征圖輸入到雙向特征圖金字塔網絡中進行深層特征圖融合，獲得語義表達能力更強的特征圖；

將所述語義表達能力更強的特征圖輸入到區域生成網絡中，生成多個候選框；

將所述多個候選框輸入到ROIAlign網絡層，篩選出感興趣區域；

將所述感興趣區域映射到所述語義表達能力更強的特征圖上，獲得感興趣區域的特征；

全連接層根據所述感興趣區域的特征對所述感興趣區域進行分類、框回歸及掩碼網絡處理，獲得所述原始圖像的語義分類結果，以識別所述原始圖像中的目標物。

2.如權利要求1所述的用于云聯邦的圖像中的目標物識別方法，其特征在于，所述對原始圖像進行Random-Batch images處理，獲得處理后圖像，包括：

對所述原始圖像中的每張圖像，每次隨機截取1/4的含有目標物的圖像，將四張所述1/4的含有目標物的圖像進行隨機拼接，獲得處理后圖像。

3.如權利要求1所述的用于云聯邦的圖像中的目標物識別方法，其特征在于，在所述全連接層根據所述感興趣區域的特征對所述感興趣區域進行分類、框回歸及掩碼網絡處理，獲得所述原始圖像的語義分類結果，以識別所述原始圖像中的目標物的步驟之前，還包括：

對全連接層中的掩碼網絡加入通道注意力機制。

4.如權利要求1所述的用于云聯邦的圖像中的目標物識別方法，其特征在于，所述全連接層根據所述感興趣區域的特征對所述感興趣區域進行分類、框回歸及掩碼網絡處理，獲得所述原始圖像的語義分類結果，以識別所述原始圖像中的目標物，包括：

將所述感興趣區域的特征輸入到全連接層，根據所述感興趣區域的特征對所述感興趣區域進行分類，得到兩個輸出；

通過其中一個輸出對每個所述感興趣區域所表示的目標物進行預測，獲得目標物預測結果；

通過另一個輸出對每個所述感興趣區域所表示的目標物進行框回歸，獲得匹配目標物的大小與位置的候選框；

根據所述目標物預測結果和所述候選框，并利用所述掩碼網絡處理，獲得所述原始圖像的語義分類結果，以識別所述原始圖像中的目標物。

5.如權利要求1所述的用于云聯邦的圖像中的目標物識別方法，其特征在于，在所述全連接層根據所述感興趣區域的特征對所述感興趣區域進行分類、框回歸及掩碼網絡處理，獲得所述原始圖像的語義分類結果，以識別所述原始圖像中的目標物的步驟之后，還包括：

基于所述語義分類結果的準確率對ResNet網絡的超參數進行微調，輸出所述原始圖像的最優語義分類結果。

6.如權利要求5所述的用于云聯邦的圖像中的目標物識別方法，其特征在于，所述超參數包括：學習率、激活函數和優化器中的至少一種。

7.一種用于云聯邦的圖像中的目標物識別裝置，其特征在于，所述用于云聯邦的圖像中的目標物識別裝置包括：

圖像處理模塊，用于對原始圖像進行Random-Batch images處理，獲得處理后圖像；

特征提取模塊，將所述處理后圖像與所述原始圖像融合后輸入ResNet網絡，進行特征提取，獲得特征圖；

特征融合模塊，用于將所述特征圖輸入到雙向特征圖金字塔網絡中進行深層特征圖融合，獲得語義表達能力更強的特征圖；

感興趣區域選取模塊，用于將所述語義表達能力更強的特征圖輸入到區域生成網絡中，生成多個候選框，并將所述多個候選框輸入到ROIAlign網絡層，篩選出感興趣區域；

關聯建立模塊，用于將所述感興趣區域映射到所述語義表達能力更強的特征圖上，獲得感興趣區域的特征，建立所述感興趣區域和對應的特征之間的關聯信息；

分類模塊，用于根據所述關聯信息通過全連接層對所述感興趣區域進行分類、框回歸及掩碼網絡處理，獲得所述原始圖像的語義分類結果，以識別所述原始圖像中的目標物。