[發明專利]圖像識別方法、裝置及相應模型訓練方法、裝置

在審

• 申請號: 202010165382.9
• 申請日: 2020-03-11
• 公開（公告）號: CN111428875A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 張珂;羅鈞峰;范銘源;魏曉明
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06K9/62
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝

1.一種圖像識別模型的訓練方法，其特征在于，所述圖像識別模型包括主干網絡、區域生成網絡、有效目標預測分支網絡以及模糊目標預測分支網絡，該方法包括進行多個迭代的訓練階段，每個訓練階段包括：

根據所述主干網絡提取訓練圖像的多尺度特征圖；

基于所述多尺度特征圖，根據所述區域生成網絡確定訓練圖像中的候選區域；

基于所述多尺度特征圖和所述候選區域，根據所述有效目標預測分支網絡預測所述訓練圖像中包含的有效目標；

基于所述候選區域，根據所述模糊目標預測分支網絡預測所述訓練圖像中包含的模糊目標；

根據所述訓練圖像的標注信息，以及所述有效目標預測分支網絡和所述模糊目標預測分支網絡的預測結果，計算模型損失值；

根據所述模型損失值對所述圖像識別模型的參數進行更新，或結束訓練。

2.如權利要求1所述的圖像識別模型的訓練方法，其特征在于，所述主干網絡包括級聯的多尺度特征提取網絡和多尺度特征融合網絡；

所述根據所述主干網絡提取訓練圖像的多尺度特征圖包括：根據所述多尺度特征提取網絡，提取出所述訓練圖像在多個尺度下的圖像特征圖；根據所述多尺度特征融合網絡，對所述訓練圖像在多個尺度下的圖像特征圖進行特征融合處理，得到所述訓練圖像的多尺度特征圖。

3.如權利要求2所述的圖像識別模型的訓練方法，其特征在于，所述多尺度特征融合網絡具體為特征金字塔網絡FPN，所述提取出所述訓練圖像在多個尺度下的圖像特征圖包括：

采用自下而上的方式，提取出尺度依次減小的多個圖像特征圖，得到訓練圖像的圖像特征圖金字塔；

所述根據所述多尺度特征融合網絡，對所述訓練圖像在多個尺度下的圖像特征圖進行特征融合處理包括：利用所述FPN對所述圖像特征圖金字塔進行自上而下的處理。

4.如權利要求1所述的圖像識別模型的訓練方法，其特征在于，所述基于所述多尺度特征圖，根據所述區域生成網絡確定訓練圖像中的候選區域包括：

根據預設的錨點數量和/或比例，由所述區域生成網絡基于所述多尺度特征圖生成錨點樣本；

基于錨點樣本的置信度確定候選區域。

5.如權利要求1所述的圖像識別模型的訓練方法，其特征在于，所述基于所述多尺度特征圖和所述候選區域，根據所述有效目標預測分支網絡預測所述訓練圖像中包含的有效目標包括：

基于所述多尺度特征圖和所述候選區域，生成候選區域的特征圖；

由所述有效目標預測分支網絡根據候選區域的特征圖得到有效目標的位置回歸預測結果和有效目標的分類預測結果。

6.如權利要求1所述的圖像識別模型的訓練方法，其特征在于，所述基于所述候選區域，根據所述模糊目標預測分支網絡預測所述訓練圖像中包含的模糊目標包括：

由所述模糊目標預測分支網絡對所述候選區域的圖像進行是否包含模糊目標的二分類預測。

7.如權利要求6所述的圖像識別模型的訓練方法，其特征在于，所述由所述模糊目標預測分支網絡對所述候選區域的圖像進行是否包含模糊目標的二分類預測包括：

根據所述模糊目標預測分支網絡中串聯的若干個殘差模塊，提取所述候選區域的圖像的模糊特征圖，并對提取的模糊特征圖進行全局平均池化，得到大小與模糊特征圖相同的特征向量，根據所述特征向量進行是否包含模糊目標的二分類預測。

8.如權利要求1-7中任一項所述的圖像識別模型的訓練方法，其特征在于，所述根據所述訓練圖像的標注信息，以及所述有效目標預測分支網絡和所述模糊目標預測分支網絡的預測結果，計算模型損失值包括：

根據所述訓練圖像的標注信息，以及所述有效目標預測分支網絡和所述模糊目標預測分支網絡的預測結果，分別計算有效目標的位置回歸損失值、有效目標的類別交叉熵損失值以及模糊目標的類別交叉熵損失值；

根據有效目標的位置回歸損失值、有效目標的類別交叉熵損失值以及模糊目標的類別交叉熵損失值確定模型損失值。