[發明專利]用于檢測物體關鍵點的方法、裝置及電子設備

有效

• 申請號: 201611227629.5
• 申請日: 2016-12-27
• 公開（公告）號: CN108229488B
• 公開（公告）日: 2021-01-01
• 發明（設計）人: 方治煒;閆俊杰
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京康達聯禾知識產權代理事務所(普通合伙) 11461
• 代理人: 羅延紅;金丹

本發明實施例提供一種檢測物體關鍵點方法、裝置及電子設備。其中，用于檢測物體關鍵點的方法包括：獲取待檢測圖像的多個局部區域候選框各自的特征圖，所述多個局部區域候選框與至少一種目標物體對應；根據各局部區域候選框的特征圖，分別對所述待檢測圖像的相應局部區域候選框進行目標物體關鍵點檢測。本發明實施例的檢測物體關鍵點方法、裝置及電子設備能夠有效地抑制背景對物體檢測的影響，可應用于例如物體相互遮擋的復雜應用場景，即使提取的局部區域候選框位置不準確，也不影響圖像中關鍵點的檢測。

技術領域

本發明實施例涉及圖像處理技術，尤其涉及一種用于檢測物體關鍵點的方法、裝置及電子設備。

背景技術

物體的關鍵點是指物體上具有穩定且重要的語義信息的部位。物體的關鍵點的檢測對于物體的深層次分析具有極其重要的輔助作用，因而被廣泛應用于行為識別、跟蹤以及人體再認證等。

通用物體關鍵點的檢測是指在現實復雜場景中對場景中指定的多種物體的每個實例進行關鍵點檢測。目前的關鍵點檢測方法通常分為兩種。

在第一種方法中，對關鍵點的幾何位置分布進行建模，然后根據檢測的分數并基于關鍵點空間結構來預測關鍵點。在這種方法中一般人工定義用于預測的特征。

在第二種方法中，采用深度卷積神經網絡來產生特征，然后加入關鍵點位置的回歸或者分類以預測關鍵點。在這種方法中，設計者會根據特定目標的關鍵點布局，在卷積神經網絡中加入反映關鍵點空間結構的圖模型。

發明內容

本發明實施例的目的在于，提供一種用于檢測物體關鍵點的方法、裝置及電子設備，以從各種場景中的圖像中對多個類別的物體進行關鍵點檢測。

根據本發明實施例的一方面，提供一種用于檢測物體關鍵點的方法，包括：獲取待檢測圖像的多個局部區域候選框各自的特征圖，所述多個局部區域候選框與至少一種目標物體對應；根據各局部區域候選框的特征圖，分別對所述待檢測圖像的相應局部區域候選框進行目標物體關鍵點檢測。

可選地，結合本發明實施例提供的任一種方法，其中，所述根據各局部區域候選框的特征圖，分別對所述待檢測圖像的相應局部區域候選框進行目標物體關鍵點檢測包括：以每個所述局部區域候選框的特征圖作為深度神經網絡模型的輸入，分別獲取每個所述局部區域候選框的第一個數的檢測關鍵點熱度圖以及關鍵點預測概率，所述第一個數為所述至少一種目標物體預定的關鍵點的個數總和，所述深度神經網絡模型用于預測物體區域候選框的第一個數的檢測關鍵點熱度圖以及各個檢測關鍵點熱度圖中各個位置為關鍵點的關鍵點預測概率；根據任一局部區域候選框的第一個數的檢測關鍵點熱度圖以及關鍵點預測概率預測所述局部區域候選框中的關鍵點。

可選地，結合本發明實施例提供的任一種方法，其中，在以每個所述局部區域候選框的特征圖作為深度神經網絡模型的輸入，分別獲取每個所述局部區域候選框的第一個數的檢測關鍵點熱度圖之前，通過以下處理訓練得到所述預先訓練的深度神經網絡模型：通過多個樣本圖像訓練所述深度神經網絡模型，所述樣本圖像配有至少一種物體的局部區域候選框的第二個數標定關鍵點熱度圖，所述深度神經網絡模型包括多個卷積層和分類器層，其中，在所述多個卷積層的末端獲得每個局部區域候選框的第二個數的預測關鍵點熱度圖，從所述分類器層輸出每個所述預測關鍵點熱度圖中各個位置的關鍵點預測概率。

可選地，結合本發明實施例提供的任一種方法，其中，所述通過多個樣本圖像訓練所述深度神經網絡模型包括：對所述多個樣本圖像的特征向量進行卷積，獲得所述多個樣本圖像的卷積特征向量；對所述卷積特征向量進行1×1卷積，分別獲得所述每個樣本圖像的N+1個預測關鍵點熱度圖，N為第二個數；根據各個局部區域候選框的位置，從每個所述樣本圖像的前第二個數所述預測關鍵點熱度圖分別剪切出各個局部區域候選框的第二個數的預測關鍵點熱度圖；分別獲取所述各個局部區域候選框的第二個數的預測關鍵點熱度圖與相應的第二個數標定關鍵點熱度圖之間的差異；使用獲取到的差異和所述多個樣本圖像迭代地更新所述深度神經網絡模型的網絡參數。