[發(fā)明專利]目標(biāo)對象關(guān)鍵點檢測方法、深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)及裝置

有效

• 申請?zhí)枺?/td>: 201711367020.2
• 申請日: 2017-12-18
• 公開（公告）號: CN108229343B
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計）人: 劉文韜;錢晨
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京思源智匯知識產(chǎn)權(quán)代理有限公司 11657
• 代理人: 毛麗琴

1.一種目標(biāo)對象關(guān)鍵點檢測方法，其特征在于，所述方法包括：

接收待處理圖像的特征圖；

在按照分支網(wǎng)絡(luò)所對應(yīng)的指定部位的活動自由度的大小，依次對深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的各關(guān)鍵點檢測分支網(wǎng)絡(luò)進行排列的情況下，將所述特征圖提供給對應(yīng)指定部位的活動自由度最低的關(guān)鍵點檢測分支網(wǎng)絡(luò)，并將前級關(guān)鍵點檢測分支網(wǎng)絡(luò)輸出的關(guān)鍵點預(yù)測信息與所述特征圖一起提供給后級關(guān)鍵點檢測分支網(wǎng)絡(luò)；其中，每個關(guān)鍵點檢測分支網(wǎng)絡(luò)針對其對應(yīng)的指定部位的關(guān)鍵點進行檢測；所述指定部位包括目標(biāo)對象的頭頸部位、軀干部位以及四肢部位；所述各關(guān)鍵點檢測分支網(wǎng)絡(luò)包括：用于預(yù)測目標(biāo)對象頭頸部位的關(guān)鍵點的第一關(guān)鍵點檢測分支網(wǎng)絡(luò)；用于預(yù)測目標(biāo)對象軀干部位的關(guān)鍵點的第二關(guān)鍵點檢測分支網(wǎng)絡(luò)；用于預(yù)測目標(biāo)對象四肢部位的關(guān)鍵點的第三關(guān)鍵點檢測分支網(wǎng)絡(luò)；

根據(jù)所述各關(guān)鍵點檢測分支網(wǎng)絡(luò)輸出的關(guān)鍵點預(yù)測信息確定待處理圖像的目標(biāo)對象關(guān)鍵點。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，確定所述活動自由度的參數(shù)包括：指定部位的活動頻率，和/或指定部位的被遮擋的概率。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，不同關(guān)鍵點檢測分支網(wǎng)絡(luò)所具有的計算資源不相同。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，對應(yīng)指定部位活動自由度高的關(guān)鍵點檢測分支網(wǎng)絡(luò)所具有的計算資源，高于對應(yīng)指定部位活動自由度低的關(guān)鍵點檢測分支網(wǎng)絡(luò)所具有的計算資源。

5.根據(jù)權(quán)利要求1至4中任一項所述的方法，其特征在于，所述第一關(guān)鍵點檢測分支網(wǎng)絡(luò)所具有的計算資源低于第二關(guān)鍵點檢測分支網(wǎng)絡(luò)所具有的計算資源，所述第二關(guān)鍵點檢測分支網(wǎng)絡(luò)所具有的計算資源低于第三關(guān)鍵點檢測分支網(wǎng)絡(luò)所具有的計算資源。

6.根據(jù)權(quán)利要求1至4中任一項所述的方法，其特征在于：

所述第一關(guān)鍵點檢測分支網(wǎng)絡(luò)包括：至少一個基于卷積層的網(wǎng)絡(luò)結(jié)構(gòu)單元；

所述第二關(guān)鍵點檢測分支網(wǎng)絡(luò)包括：至少兩個基于卷積層的網(wǎng)絡(luò)結(jié)構(gòu)單元；

所述第三關(guān)鍵點檢測分支網(wǎng)絡(luò)包括：至少三個基于卷積層的網(wǎng)絡(luò)結(jié)構(gòu)單元；

其中，所述第一關(guān)鍵點檢測分支網(wǎng)絡(luò)所包含的網(wǎng)絡(luò)結(jié)構(gòu)單元的數(shù)量小于第二關(guān)鍵點檢測分支網(wǎng)絡(luò)所包括的網(wǎng)絡(luò)結(jié)構(gòu)單元的數(shù)量，所述第二關(guān)鍵點檢測分支網(wǎng)絡(luò)所包含的網(wǎng)絡(luò)結(jié)構(gòu)單元的數(shù)量小于第三關(guān)鍵點檢測分支網(wǎng)絡(luò)所包括的網(wǎng)絡(luò)結(jié)構(gòu)單元的數(shù)量。

7.根據(jù)權(quán)利要求1至4中任一所述的方法，其特征在于，所述將前級關(guān)鍵點檢測分支網(wǎng)絡(luò)輸出的關(guān)鍵點預(yù)測信息與所述特征圖一起提供給后級關(guān)鍵點檢測分支網(wǎng)絡(luò)包括：

將前一級關(guān)鍵點檢測分支網(wǎng)絡(luò)輸出的關(guān)鍵點預(yù)測信息與所述目標(biāo)對象特征圖一起作為后一級關(guān)鍵點檢測分支網(wǎng)絡(luò)的輸入；或者

將當(dāng)前關(guān)鍵點檢測分支網(wǎng)絡(luò)之前的任一級關(guān)鍵點檢測分支網(wǎng)絡(luò)輸出的關(guān)鍵點預(yù)測信息與所述特征圖一起作為當(dāng)前關(guān)鍵點檢測分支網(wǎng)絡(luò)的輸入；或者

將所有前級關(guān)鍵點檢測分支網(wǎng)絡(luò)輸出的關(guān)鍵點預(yù)測信息與所述目標(biāo)對象特征圖一起被作為后級關(guān)鍵點檢測分支網(wǎng)絡(luò)。

8.根據(jù)權(quán)利要求1至4中任一所述的方法，其特征在于，所述任一關(guān)鍵點檢測分支網(wǎng)絡(luò)的輸出包括：其對應(yīng)的指定部位的關(guān)鍵點置信度信息。

9.根據(jù)權(quán)利要求1至4中任一所述的方法，其特征在于，所述方法還包括：

利用每個關(guān)鍵點檢測分支網(wǎng)絡(luò)各自對應(yīng)的損失函數(shù)層，對相應(yīng)的關(guān)鍵點檢測分支網(wǎng)絡(luò)進行訓(xùn)練。

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述損失函數(shù)層包括：L2損失函數(shù)層。

11.根據(jù)權(quán)利要求1至4、10中任一所述的方法，其特征在于，所述方法還包括：

獲取待處理圖像的目標(biāo)對象外接框以及目標(biāo)對象外接框的中心位置；

根據(jù)所述目標(biāo)對象外接框切割出的圖像塊以及目標(biāo)對象外接框的中心位置獲取所述待處理圖像的特征圖。