[發明專利]一種關鍵點識別方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010622500.4
• 申請日: 2020-06-30
• 公開（公告）號: CN111738202A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 劉思陽
• 申請（專利權）人: 北京愛奇藝科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 項京;高鶯然

1.一種關鍵點識別方法，其特征在于，包括：

獲得非紅外攝像頭所采集的視頻圖像中包含目標對象多個預設關鍵點的圖像幀，作為目標可見光圖像；以及獲得紅外攝像頭所采集的視頻圖像中包含多個光捕球圖像的圖像幀，作為目標紅外圖像；所述目標對象被預先部署有多個光捕球，其中，每個光捕球對應所述目標對象多個預設關鍵點中的一個指定關鍵點；

基于所述目標紅外圖像包含的各個光捕球圖像的位置信息，確定所述目標紅外圖像的特征，作為光捕特征；

將所述光捕特征和所述目標可見光圖像的各個顏色通道的色值矩陣進行融合，得到融合特征；

將所述融合特征輸入預先訓練的關鍵點識別模型，得到目標對象的各個預設關鍵點的標識和位置信息，作為識別結果；其中，所述關鍵點識別模型為基于訓練樣本集進行訓練得到的，所述訓練樣本集包含：多個樣本對象的融合特征，以及各個樣本對象的多個預設關鍵點的標識和位置信息。

2.根據權利要求1所述的方法，其特征在于，所述基于所述目標紅外圖像包含的各個光捕球圖像的位置信息，確定所述目標紅外圖像的特征，作為光捕特征，包括：

確定所述目標紅外圖像包含的各個光捕球圖像的位置信息；

根據所述目標紅外圖像包含的各個光捕球圖像的位置信息，生成指定關鍵點對應的第一紅外特征矩陣；

生成k-n個零矩陣，作為多個預設關鍵點中非指定關鍵點對應的第二紅外特征矩陣，第一紅外特征矩陣與第二紅外特征矩陣的維度相同，k為目標對象的預設關鍵點的數量，n為光捕球的數量；

將第一紅外特征矩陣和第二紅外特征矩陣進行拼接得到的拼接特征矩陣，作為光捕特征。

3.根據權利要求2所述的方法，其特征在于，所述各個光捕球圖像的位置信息為：各個光捕球圖像的位置坐標；

所述確定所述目標紅外圖像包含的各個光捕球圖像的位置信息，包括：

提取所述目標紅外圖像的像素矩陣；

將所述像素矩陣中，像素值低于預設像素閾值的像素點的像素值確定為0，得到目標像素矩陣；

確定所述目標像素矩陣的連通區域，每個所述連通區域對應一個光捕球圖像；

針對每個所述連通區域，將該連通區域中像素值最大的像素點的位置坐標，確定為該連通區域對應的光捕球圖像的位置坐標。

4.根據權利要求3所述的方法，其特征在于，所述根據所述目標紅外圖像包含的各個光捕球圖像的位置信息，生成指定關鍵點對應的第一紅外特征矩陣，包括：

根據所述目標紅外圖像包含的各個光捕球圖像的位置坐標，針對每個光捕球圖像，生成以該光捕球圖像的位置坐標為中心，以預設距離為半徑，且呈高斯分布的圖像，作為該光捕球圖像的先驗熱度圖；

分別提取各個先驗熱度圖的熱度值矩陣，作為各個指定關鍵點對應的第一紅外特征矩陣。

5.根據權利要求3所述的方法，其特征在于，所述將第一紅外特征矩陣和第二紅外特征矩陣進行拼接得到的拼接特征矩陣，作為光捕特征，包括：

根據所述目標對象的各個預設關鍵點，以及部署于目標對象的各個光捕球，生成k維的光捕球部署向量；k維的光捕球部署向量的每個元素對應目標對象的一個預設關鍵點，其中，光捕球部署向量的各個元素中，與預設關鍵點中的指定關鍵點相對應的元素的值為1，與預設關鍵點中的非指定關鍵點相對應的元素的值為0；

針對所述光捕球部署向量，將所述光捕球部署向量中值為1的元素替換為指定關鍵點對應的第一紅外特征矩陣，將所述光捕球部署向量中值為0的元素替換為非指定關鍵點對應的第二紅外特征矩陣，得到先驗熱度圖組矩陣，作為光捕特征；所述先驗熱度圖組矩陣為w×h×k維的矩陣，先驗熱度圖的矩陣為w×h的矩陣，其中，w為先驗熱度圖的矩陣的長，h為先驗熱度圖的矩陣的寬。

6.根據權利要求5所述的方法，其特征在于，所述將所述光捕特征和所述目標可見光圖像的各個顏色通道的色值矩陣進行融合，得到融合特征，包括：

將所述先驗熱度圖組矩陣，與所述目標可見光圖像的各個顏色通道的色值矩陣進行拼接，得到融合矩陣，作為融合特征，所述融合矩陣為w×h×(k+m)維的矩陣，m為可見光圖像的顏色通道的數量。