[發明專利]目標對象關鍵點檢測方法、深度學習神經網絡及裝置

有效

• 申請號: 201711367020.2
• 申請日: 2017-12-18
• 公開（公告）號: CN108229343B
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 劉文韜;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

本申請實施方式公開了一種目標對象關鍵點檢測方法、深度學習神經網絡以及裝置，其中的目標對象關鍵點檢測方法主要包括：接收待處理圖像的特征圖；在按照分支網絡所對應的指定部位的活動自由度的大小，依次對深度學習神經網絡中的各關鍵點檢測分支網絡進行排列的情況下，將所述特征圖提供給對應指定部位的活動自由度最低的關鍵點檢測分支網絡，并將前級關鍵點檢測分支網絡輸出的關鍵點預測信息與所述特征圖一起提供給后級關鍵點檢測分支網絡；根據所述各關鍵點檢測分支網絡輸出的關鍵點預測信息確定待處理圖像的目標對象關鍵點。

技術領域

本申請涉及計算機視覺技術，尤其是涉及一種目標對象關鍵點檢測方法、用于檢測目標對象關鍵點的深度學習神經網絡、目標對象關鍵點檢測裝置、電子設備、計算機可讀存儲介質以及計算機程序。

背景技術

預測圖像(例如，視頻中的視頻幀等)中的目標對象關鍵點(例如，人的身體關鍵點等)可以為多種應用提供信息支持；例如，通過對視頻的各視頻幀的身體關鍵點進行分析，可以獲得人的行為；再例如，通過獲得視頻的各視頻幀的身體關鍵點，可以在人體的相應部位增加相應的特效，從而增強視頻的視覺效果。

如何快速準確的預測出圖像中的目標對象關鍵點，是一個值得關注的技術問題。

發明內容

本申請實施方式提供一種目標對象關鍵點檢測的技術方案。

根據本申請實施方式其中一個方面，提供了一種目標對象關鍵點檢測方法，該方法包括：接收待處理圖像的特征圖；在按照分支網絡所對應的指定部位的活動自由度的大小，依次對深度學習神經網絡中的各關鍵點檢測分支網絡進行排列的情況下，將所述特征圖提供給對應指定部位的活動自由度最低的關鍵點檢測分支網絡，并將前級關鍵點檢測分支網絡輸出的關鍵點預測信息與所述特征圖一起提供給后級關鍵點檢測分支網絡；根據所述各關鍵點檢測分支網絡輸出的關鍵點預測信息確定待處理圖像的目標對象關鍵點。

在本申請一實施方式中，確定所述活動自由度的參數包括：指定部位的活動頻率，和/或指定部位的被遮擋的概率。

在本申請又一實施方式中，不同關鍵點檢測分支網絡所具有的計算資源不相同。

在本申請再一實施方式中，對應指定部位活動自由度高的關鍵點檢測分支網絡所具有的計算資源，高于對應指定部位活動自由度低的關鍵點檢測分支網絡所具有的計算資源。

在本申請再一實施方式中，所述神經網絡包括：用于預測目標對象頭頸部位的關鍵點的第一關鍵點檢測分支網絡；用于預測目標對象軀干部位的關鍵點的第二關鍵點檢測分支網絡；用于預測目標對象四肢部位的關鍵點的第三關鍵點檢測分支網絡。

在本申請再一實施方式中，所述第一關鍵點檢測分支網絡所具有的計算資源低于第二關鍵點檢測分支網絡所具有的計算資源，所述第二關鍵點檢測分支網絡所具有的計算資源低于第三關鍵點檢測分支網絡所具有的計算資源。

在本申請再一實施方式中，所述第一關鍵點檢測分支網絡包括：至少一個基于卷積層的網絡結構單元；所述第二關鍵點檢測分支網絡包括：至少兩個基于卷積層的網絡結構單元；所述第三關鍵點檢測分支網絡包括：至少三個基于卷積層的網絡結構單元；其中，所述第一關鍵點檢測分支網絡所包含的網絡結構單元的數量小于第二關鍵點檢測分支網絡所包括的網絡結構單元的數量，所述第二關鍵點檢測分支網絡所包含的網絡結構單元的數量小于第三關鍵點檢測分支網絡所包括的網絡結構單元的數量。

在本申請再一實施方式中，所述將前級關鍵點檢測分支網絡輸出的關鍵點預測信息與所述特征圖一起提供給后級關鍵點檢測分支網絡包括：將前一級關鍵點檢測分支網絡輸出的關鍵點預測信息與所述目標對象特征圖一起作為后一級關鍵點檢測分支網絡的輸入；或者，將當前關鍵點檢測分支網絡之前的任一級關鍵點檢測分支網絡輸出的關鍵點預測信息與所述特征圖一起作為當前關鍵點檢測分支網絡的輸入；或者，將所有前級關鍵點檢測分支網絡輸出的關鍵點預測信息與所述目標對象特征圖一起被作為后級關鍵點檢測分支網絡。