[發明專利]基于緊框標的識別方法、測量方法及識別裝置

在審

• 申請號: 202211058151.3
• 申請日: 2021-10-19
• 公開（公告）號: CN115423818A
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 王娟;夏斌
• 申請（專利權）人: 深圳硅基智能科技有限公司
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/70;G06V10/764;G06V10/774;G06V10/82;G06N3/04;G06N3/08;G01B11/02;G01B11/06
• 代理公司: 深圳舍穆專利代理事務所(特殊普通合伙) 44398
• 代理人: 邱爽

1.一種基于緊框標的識別方法，其特征在于，是利用基于目標的緊框標進行訓練的網絡模塊對所述目標進行識別的識別方法，所述網絡模塊包括用于圖像分割的分割網絡和基于邊框回歸的回歸網絡的，所述識別方法包括：獲取包括至少一個目標的輸入圖像，所述至少一個目標屬于至少一個感興趣的類別；將所述輸入圖像輸入所述網絡模塊以獲取由所述分割網絡輸出的第一輸出和由所述回歸網絡輸出的第二輸出，所述第一輸出包括所述輸入圖像中的各個像素點屬于各個類別的概率，所述第二輸出包括所述輸入圖像中各個像素點的位置與每個類別的目標的緊框標的偏移；基于所述第一輸出和所述第二輸出對所述目標進行識別。

2.根據權利要求1所述的識別方法，其特征在于：

所述網絡模塊還包括骨干網絡，所述骨干網絡用于提取所述輸入圖像的特征圖，所述分割網絡將所述特征圖作為輸入以獲得所述第一輸出，所述回歸網絡將所述特征圖作為輸入以獲得所述第二輸出。

3.根據權利要求2所述的識別方法，其特征在于：

所述特征圖和所述輸入圖像的分辨率一致。

4.根據權利要求1所述的識別方法，其特征在于：

將所述第二輸出中的偏移作為目標偏移，所述目標偏移是基于各個類別的目標的平均大小進行歸一化后的偏移。

5.根據權利要求1所述的識別方法，其特征在于：

所述網絡模塊通過如下方法訓練：

構建訓練樣本，所述訓練樣本的輸入圖像數據包括多張待訓練圖像，所述多張待訓練圖像包括包含至少屬于一個類別的目標的圖像，所述訓練樣本的標簽數據，包括所述目標所屬的類別的金標準和所述目標的緊框標的金標準；通過所述網絡模塊基于所述訓練樣本的輸入圖像數據，獲得所述訓練樣本對應的由所述分割網絡輸出的預測分割數據和由所述回歸網絡輸出的預測偏移；基于所述訓練樣本對應的標簽數據、所述預測分割數據和所述預測偏移確定所述網絡模塊的訓練損失；并且基于所述訓練損失對所述網絡模塊進行訓練以優化所述網絡模塊。

6.根據權利要求5所述的識別方法，其特征在于：

所述基于所述訓練樣本對應的標簽數據、所述預測分割數據和所述預測偏移確定所述網絡模塊的訓練損失，包括：基于所述訓練樣本對應的預測分割數據和標簽數據，獲取所述分割網絡的分割損失；基于所述訓練樣本對應的預測偏移和基于標簽數據對應的真實偏移，獲取所述回歸網絡的回歸損失，其中，所述真實偏移為所述待訓練圖像的像素點的位置與標簽數據中的目標的緊框標的金標準的偏移；并且基于所述分割損失和所述回歸損失，獲取所述網絡模塊的訓練損失。

7.根據權利要求6所述的識別方法，其特征在于：

利用多示例學習，按類別基于各個待訓練圖像中的目標的緊框標的金標準獲取多個待訓練包，基于各個類別的多個待訓練包獲取所述分割損失，其中，所述多個待訓練包包括多個正包和多個負包，將連接所述目標的緊框標的金標準相對的兩個邊的多條直線中的各條直線上的全部像素點劃分為一個正包，所述多條直線包括至少一組相互平行的第一平行線和分別與每組第一平行線垂直的相互平行的第二平行線，所述負包為一個類別的所有目標的緊框標的金標準之外的區域的單個像素點。

8.根據權利要求5所述的識別方法，其特征在于：

按類別并利用所述待訓練圖像的像素點對應的期望交并比從所述待訓練圖像的像素點篩選出所述期望交并比大于預設期望交并比的像素點對所述回歸網絡進行優化。

9.一種基于緊框標的測量方法，其特征在于：是基于權利要求1-8中任一項所述的識別方法對目標進行識別以獲取各個類別的目標的緊標框從而實現對目標的測量的測量方法，所述緊框標為所述目標的最小外接矩形。

10.一種基于緊框標的識別裝置，其特征在于，是利用基于目標的緊框標進行訓練的網絡模塊對所述目標進行識別的識別裝置，所述識別裝置包括獲取模塊、網絡模塊和識別模塊；所述獲取模塊配置為獲取包括至少一個目標的輸入圖像，所述至少一個目標屬于至少一個感興趣的類別；所述網絡模塊配置為接收所述輸入圖像并基于所述輸入圖像獲取第一輸出和第二輸出，所述第一輸出包括所述輸入圖像中的各個像素點屬于各個類別的概率，所述第二輸出包括所述輸入圖像中各個像素點的位置與每個類別的目標的緊框標的偏移，其中，所述網絡模塊包括用于圖像分割的分割網絡、以及基于邊框回歸的回歸網絡，所述分割網絡用于輸出所述第一輸出，所述回歸網絡用于輸出所述第二輸出；以及所述識別模塊配置為基于所述第一輸出和所述第二輸出對所述目標進行識別。