[發明專利]基于人體關鍵點的交互位置控制方法、裝置及電子設備

在審

• 申請號: 201910563225.0
• 申請日: 2019-06-26
• 公開（公告）號: CN110264499A
• 公開（公告）日: 2019-09-20
• 發明（設計）人: 黃佳斌
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246
• 代理公司: 北京竹辰知識產權代理事務所(普通合伙) 11706
• 代理人: 陳龍

1.一種基于人體關鍵點的交互位置控制方法，其特征在于，包括：

基于目標對象相對于攝像設備的位置，形成包含所述目標對象的視頻文件；

基于所述視頻文件中包含的視頻幀圖像，對目標對象執行關鍵點檢測，以得到所述目標對象的關鍵點集合；

當所述關鍵點集合中存在多個必要關鍵點時，確定所述目標對象在預設應用程序交互界面中的交互點；

基于獲取到的所述目標對象相對于所述攝像設備的位置移動，改變所述交互點在所述交互界面中的交互位置。

2.根據權利要求1所述的方法，其特征在于，所述當所述關鍵點集合中存在多個必要關鍵點時，確定所述目標對象在預設應用程序交互界面中的交互點，包括：

獲取所述多個必要關鍵點的中心點；

確定所述中心點在所述視頻文件的視頻幀上的相對位置；

在所述交互界面上與所述相對位置對應的位置，生成所述交互點。

3.根據權利要求1所述的方法，其特征在于，所述基于獲取到的所述目標對象相對于所述攝像設備的位置移動，改變所述交互點在所述交互界面中的交互位置，包括：

獲取所述目標對象在所述視頻文件的視頻幀中對應的移動距離和移動方向；

基于所述移動距離和所述移動方向，確定所述交互點在所述交互界面中的新位置。

4.根據權利要求1所述的方法，其特征在于，所述基于所述視頻文件中包含的視頻幀圖像，對目標對象執行關鍵點檢測，包括：

將所述視頻文件中的視頻幀圖像變換為灰度圖像；

對所述灰度圖像進行邊緣檢測，得到所述目標對象的邊緣輪廓；

基于所述邊緣輪廓，確定所述目標對象的關鍵點集合。

5.根據權利要求1所述的方法，其特征在于，所述基于目標對象相對于攝像設備的位置，形成包含所述目標對象的視頻文件，包括：

對所述攝像設備中形成的相鄰幀圖像對應的像素點的像素值執行相減操作，得到像素差矩陣；

判斷所述像素差矩陣的平均值是否大于預設閾值；

若是，則將所述相鄰幀圖像作為視頻幀存儲在所述視頻文件中。

6.根據權利要求1所述的方法，其特征在于，所述當所述關鍵點集合中存在多個必要關鍵點時，確定所述目標對象在預設應用程序交互界面中的交互點之前，所述方法還包括：

基于檢測到的關鍵點集合，對所述目標對象的位置狀態進行檢測；

基于檢測到的目標對象的位置狀態，向所述目標對象進行提示操作。

7.根據權利要求6所述的方法，其特征在于，所述基于檢測到的目標對象的位置狀態，向所述目標對象進行提示操作，包括：

判斷所述視頻文件的視頻幀中是否存在目標對象的肩部關鍵點和頭部關鍵點；

若否，則提示所述目標對象改變目標對象的當前位置，直至在所述視頻文件的視頻幀中出現目標對象的肩部關鍵點和頭部關鍵點。

8.根據權利要求6所述的方法，其特征在于，所述基于檢測到的目標對象的位置狀態，向所述目標對象進行提示操作，包括：

基于在視頻文件的視頻幀中檢測到的目標對象的肩部關鍵點，判斷所述目標對象是否處于視頻幀中間的預設位置；

若是，則在所述視頻幀中出現所述目標對象的上半身關鍵點之后，提示所述目標對象執行預設動作。

9.一種基于人體關鍵點的交互位置控制裝置，其特征在于，包括：

獲取模塊，用于獲取基于目標對象相對于攝像設備的位置，形成包含所述目標對象的視頻文件；

檢測模塊，用于基于所述視頻文件中包含的視頻幀圖像，對目標對象執行關鍵點檢測，以得到所述目標對象的關鍵點集合；

確定模塊，用于當所述關鍵點集合中存在多個必要關鍵點時，確定所述目標對象在預設應用程序交互界面中的交互點；

改變模塊，用于基于獲取到的所述目標對象相對于所述攝像設備的位置移動，改變所述交互點在所述交互界面中的交互位置。