[發明專利]用于識別物體類別的方法及裝置、電子設備

有效

• 申請號: 201611168161.7
• 申請日: 2016-12-16
• 公開（公告）號: CN108229509B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 李步宇;閆俊杰
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/46
• 代理公司: 北京康達聯禾知識產權代理事務所(普通合伙) 11461
• 代理人: 張雪飛;蘭淑鐸

1.一種用于識別物體類別的方法，其特征在于，包括：

根據待檢測圖像的多個物體候選框中M個關鍵點的位置信息從相應的物體候選框中確定M個關鍵點鄰域區域，其中，M為N個預設的物體類別的關鍵點的總個數，M和N均為正整數；

根據所述M個關鍵點鄰域區域，采用用于識別圖像中物體類別的卷積神經網絡模型，確定所述待檢測圖像中至少一個物體的類別信息，

其中，所述卷積神經網絡模型包括K個卷積層、池化層和輸出層，K為正整數；

所述根據所述M個關鍵點鄰域區域，采用用于識別圖像中物體類別的卷積神經網絡模型，確定所述待檢測圖像中至少一個物體的類別信息，包括：

從第K-1個卷積層輸出與所述M個關鍵點一一對應的特征圖；

從第K個卷積層輸出每一所述特征圖轉化后得到的關鍵點的響應圖；

分別將所述M個關鍵點鄰域區域映射到相應的關鍵點的響應圖上得到映射區域；

從池化層輸出對應于M個所述映射區域的池化結果；

基于M個所述池化結果從所述輸出層獲得屬于各預設的物體類別的第一置信度，并根據所述屬于各預設的物體類別的第一置信度確定所述至少一個物體的類別信息。

2.根據權利要求1所述的方法，其特征在于，所述基于M個所述池化結果從所述輸出層獲得屬于各預設的物體類別的第一置信度，包括：

對屬于同一預設的物體類別的關鍵點相應的池化結果求取平均值得到各個預設的物體類別的分數；

根據所述各個預設的物體類別的分數從所述輸出層獲得屬于各預設的物體類別的第一置信度。

3.根據權利要求1所述的方法，其特征在于，在所述根據所述M個關鍵點鄰域區域，采用用于識別圖像中物體類別的卷積神經網絡模型，確定所述待檢測圖像中至少一個物體的類別信息之前，所述方法還包括：對卷積神經網絡模型進行訓練；

所述對卷積神經網絡模型進行訓練，包括：

獲取含有關鍵點的位置信息、物體框標注信息以及類別標注信息的樣本圖像；

對所述樣本圖像進行卷積處理，獲取卷積結果；

根據所述物體框標注信息以及類別標注信息，判斷所述卷積結果中的物體框位置信息和/或類別信息是否滿足訓練完成條件；

若滿足，則完成對所述卷積神經網絡模型的訓練；

若不滿足，則根據所述卷積結果中物體框位置信息和/或類別信息調整所述卷積神經網絡模型的參數，并根據調整后的所述卷積神經網絡模型的參數對所述卷積神經網絡模型進行迭代訓練，直至迭代訓練后的物體框位置信息和/或類別信息滿足所述訓練完成條件。

4.根據權利要求1所述的方法，其特征在于，在所述根據待檢測圖像的多個物體候選框中M個關鍵點的位置信息從相應的物體候選框中確定M個關鍵點鄰域區域之前，所述方法還包括：

獲取所述多個物體候選框的位置；

根據所述多個物體候選框的位置獲取所述多個物體候選框中M個關鍵點的位置信息。

5.根據權利要求4所述的方法，其特征在于，所述獲取所述多個物體候選框的位置，包括：

采用第一卷積神經網絡獲得所述多個物體候選框的位置信息，或者，

采用選擇性搜索方法獲得所述多個物體候選框的位置信息，或者，

采用邊緣方塊Edge Box方法獲得所述多個物體候選框的位置信息。

6.根據權利要求5所述的方法，其特征在于，所述根據所述多個物體候選框的位置獲取所述多個物體候選框中M個關鍵點的位置信息，還包括：根據所述多個物體候選框的位置獲取每個關鍵點相對應的第二置信度，所述第二置信度為表征關鍵點是否存在于候選框中的可能性的數據；

所述根據所述M個關鍵點鄰域區域，采用用于識別圖像中物體類別的卷積神經網絡模型，確定所述待檢測圖像中至少一個物體的類別信息，還包括：將超過設定的置信度閾值的關鍵點對應的響應圖的池化結果記為零。