[發明專利]網絡模型的訓練方法及裝置、圖像處理方法及存儲介質

有效

• 申請號: 202010160713.X
• 申請日: 2020-03-09
• 公開（公告）號: CN111340195B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 秦永強;李素瑩;敖川;劉金露
• 申請（專利權）人: 創新奇智（上海）科技有限公司
• 主分類號: G06N3/045
• 分類號: G06N3/045;G06N3/084;G06N3/09;G06V10/82;G06V10/40;G06V10/44;G06V10/764
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐正瑜

1.一種網絡模型的訓練方法，其特征在于，包括：

將訓練圖像輸入至主干網絡進行特征提取，獲得所述訓練圖像的特征圖，所述主干網絡為神經網絡；

將所述訓練圖像的特征圖輸入至第一分支網絡進行處理，獲得所述訓練圖像的全局特征，以及，將所述訓練圖像的特征圖輸入至第二分支網絡進行處理，獲得所述訓練圖像的局部特征；

聯合所述訓練圖像的全局特征以及局部特征形成所述訓練圖像的特征；

基于所述訓練圖像的特征計算損失，并根據損失計算結果更新所述主干網絡的參數；

其中，所述將所述訓練圖像的特征圖輸入至所述第二分支網絡進行處理，獲得所述訓練圖像的局部特征，包括：

確定所述訓練圖像的特征圖中的遮擋區域，對所述遮擋區域內的像素進行擦除或者模糊處理，所述遮擋區域在所述訓練圖像的特征圖中的位置隨機選取；

對處理后的所述訓練圖像的特征圖進行池化以及特征嵌入，獲得所述訓練圖像的局部特征。

2.根據權利要求1所述的網絡模型的訓練方法，其特征在于，所述將所述訓練圖像的特征圖輸入至所述第一分支網絡進行處理，獲得所述訓練圖像的全局特征，包括：

利用所述第一分支網絡對所述訓練圖像的特征圖進行池化以及特征嵌入，獲得所述訓練圖像的全局特征。

3.根據權利要求1所述的網絡模型的訓練方法，其特征在于，所述遮擋區域的面積大于預設閾值，和/或，所述遮擋區域為連續區域。

4.根據權利要求1所述的網絡模型的訓練方法，其特征在于，所述訓練圖像為一批圖像，所述訓練圖像的特征圖為一批尺寸相同的特征圖，且各張特征圖上的所述遮擋區域的位置和尺寸均相同。

5.根據權利要求1-4中任一項所述的網絡模型的訓練方法，其特征在于，所述聯合所述訓練圖像的全局特征以及局部特征形成所述訓練圖像的特征，包括：

將所述訓練圖像的全局特征以及局部特征進行拼接，形成所述訓練圖像的特征，或者，將所述訓練圖像的全局特征以及局部特征進行加權求和，形成所述訓練圖像的特征。

6.根據權利要求5所述的網絡模型的訓練方法，其特征在于，所述訓練圖像的特征通過加權求和的方式形成，每更新一次所述主干網絡的參數為一輪訓練，當已進行的訓練輪次小于預設輪次時，所述訓練圖像的全局特征的求和權重取第一權重，所述訓練圖像的局部特征的求和權重取第二權重，且所述第一權重大于所述第二權重。

7.一種圖像處理方法，其特征在于，包括：

獲取待處理圖像；

將所述待處理圖像輸入至通過權利要求1-6中任一項所述的方法訓練獲得的主干網絡進行處理，獲得所述主干網絡輸出的所述待處理圖像的特征圖；

利用所述待處理圖像的特征圖執行圖像處理任務。

8.一種網絡模型的訓練裝置，其特征在于，包括：

主干處理模塊，用于將訓練圖像輸入至主干網絡進行特征提取，獲得所述訓練圖像的特征圖，所述主干網絡為神經網絡；

分支處理模塊，用于將所述訓練圖像的特征圖輸入至第一分支網絡進行處理，獲得所述訓練圖像的全局特征，以及，將所述訓練圖像的特征圖輸入至第二分支網絡進行處理，獲得所述訓練圖像的局部特征；

特征聯合模塊，用于聯合所述訓練圖像的全局特征以及局部特征形成所述訓練圖像的特征；

參數更新模塊，用于基于所述訓練圖像的特征計算損失，并根據損失計算結果更新所述主干網絡的參數；

其中，所述分支處理模塊將所述訓練圖像的特征圖輸入至所述第二分支網絡進行處理，獲得所述訓練圖像的局部特征，包括：確定所述訓練圖像的特征圖中的遮擋區域，對所述遮擋區域內的像素進行擦除或者模糊處理，所述遮擋區域在所述訓練圖像的特征圖中的位置隨機選取；對處理后的所述訓練圖像的特征圖進行池化以及特征嵌入，獲得所述訓練圖像的局部特征。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有計算機程序指令，所述計算機程序指令被處理器讀取并運行時，執行如權利要求1-7中任一項所述的方法。