[發明專利]一種基于關鍵點回歸的多物體檢測方法、系統、終端和存儲介質

在審

• 申請號: 201810834358.2
• 申請日: 2018-07-26
• 公開（公告）號: CN109190467A
• 公開（公告）日: 2019-01-11
• 發明（設計）人: 吳子章;王凡;唐銳;李坤侖;丁麗珠
• 申請（專利權）人: 北京縱目安馳智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于關鍵點回歸的多物體檢測方法，其特征在于，包括以下步驟：

S01：預設追蹤目標的關鍵點標簽，確定追蹤目標的檢測區域，獲得預設追蹤目標關鍵點標簽在檢測區域中的相對位置信息，標記為關鍵點第一位置信息；

S02：提取目標檢測區域的特征圖，獲取追蹤目標關鍵點在特征圖中的相對位置信息，標記為關鍵點第二位置信息；

S03：以關鍵點第一位置信息和關鍵點第二位置信息為輸入，得出損失函數以優化網絡結構。

2.根據權利要求1所述的基于關鍵點回歸的多物體檢測方法，其特征在于，步驟S01中所述追蹤目標的類別為至少兩種類別，所述預設追蹤目標的關鍵點標簽按照其預設的追蹤目標類別、以及每個類別中每個預設的追蹤目標個體分別預設關鍵點；所述步驟S01中確定追蹤目標的檢測區域時，根據追蹤目標的類別不同分別確定每個類別中每個追蹤目標個體所在的檢測區域，再將每個預設的追蹤目標個體的關鍵點標簽與追蹤目標個體所在的檢測區域相匹配；分別得到各個追蹤目標個體所對應關鍵點信息。

3.根據權利要求2所述的基于關鍵點回歸的多物體檢測方法，其特征在于，所述步驟S02中，提取目標檢測區域的特征圖后，還包括將各個特征圖的特征融合的步驟S021。

4.根據權利要求3所述的基于關鍵點回歸的多物體檢測方法，其特征在于，在步驟S01的確定追蹤目標的檢測區域后，在步驟S02的提取目標檢測區域的特征圖前，還包括尺度空間轉換的步驟S01a：將各個目標檢測區域的特征圖轉換成相同的尺度的標準特征圖，再進行關鍵點檢測，獲取關鍵點在特征圖中的相對位置關系。

5.根據權利要求4所述的基于關鍵點回歸的多物體檢測方法，其特征在于，在獲取追蹤目標關鍵點在特征圖中的相對位置信息前，還包括將標準特征圖下采樣的步驟S01b：獲取下采樣層特征圖，以下采樣層特征圖作為輸入，訓練下采樣局部網絡；再以下采樣層特征圖為輸入下采樣局部網絡，輸出關鍵點位置信息并映射回標準特征圖中。

6.根據權利要求5所述的基于關鍵點回歸的多物體檢測方法，其特征在于，還包括步驟S01c：將映射了下采樣關鍵點位置的標準特征圖進行掩碼操作，訓練標準特征局部網絡，使其只學習標準特征圖中關鍵點所在的映射位置。

7.根據權利要求1所述的基于關鍵點回歸的多物體檢測方法，其特征在于，所述網絡結構中，基礎段采用resnet50網絡結構，檢測段采用rrc網絡結構。

8.根據權利要求1所述的基于關鍵點回歸的多物體檢測方法，其特征在于，所述關鍵點檢測段的網絡結構包括獲取基礎段中低層的特征圖，通過RoI pooling層使每個特征圖的窗口生成固定尺寸的特征圖，以concat函數融合固定尺寸的特征圖，再經過至少一次卷積、池化操作獲得標準特征圖，標準特征圖與預設追蹤目標的關鍵點標簽輸入一起生成第一損失函數；所述標準特征圖再經過至少一次卷積、池化操作獲得下采樣層特征圖，下采樣層特征圖和追蹤目標關鍵點在特征圖中的標簽共同作為輸入再通過掩碼操作，生成第二損失函數。

9.一種基于關鍵點回歸的多物體檢測系統，其特征在于，包括關鍵點標簽標注模塊、目標檢測模塊、特征提取模塊、關鍵點第一位置生成模塊、關鍵點第二位置信息生成模塊、損失函數生成模塊；

所述目標檢測模塊用于在原圖中獲得追蹤目標，并以追蹤目標為基礎獲得檢測區域；

所述關鍵點標簽標注模塊用于標注追蹤目標關鍵點，并輸出關鍵點標簽；

所述特征提取模塊用于自檢測區域中提取特征，生成特征圖；

所述關鍵點第一位置生成模塊用于以關鍵點標簽所在目標檢測模塊的像素點的位置信息生成關鍵點第一位置數組；

所述關鍵點第二位置生成模塊用于以關鍵點標簽所在特征圖的格點的位置信息生成關鍵點第二位置數組；

所述損失函數生成模塊用于以關鍵點第一位置數組與第二位置數組對應位數之差的和與系數的乘積得到損失函數，以修正網絡結構。