[發明專利]手部三維數據確定方法、裝置及電子設備

有效

• 申請號: 201710198505.7
• 申請日: 2017-03-29
• 公開（公告）號: CN108230383B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 王權;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T7/564
• 分類號: G06T7/564;G06K9/00;G06K9/46
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

本發明提供一種手部三維數據確定方法、裝置及電子設備，所述方法包括：獲取雙目攝像系統拍攝的第一手部圖像和第二手部圖像；分別從所述第一手部圖像和第二手部圖像中識別至少一關鍵點以及覆蓋所述關鍵點的區域輪廓；根據所述雙目攝像系統的攝像參數、從所述第一手部圖像識別出的各所述關鍵點和各所述區域輪廓以及從所述第二手部圖像識別出的各相應關鍵點和各相應區域輪廓，確定各所述關鍵點的深度信息以及各所述區域輪廓的深度信息；至少根據各所述關鍵點及其深度信息和各所述區域輪廓及其深度信息，確定手部三維數據。根據本發明提供的技術方案確定的手部三維數據更加準確且更豐富，且本發明具有較高的效率和準確性。

技術領域

本發明涉及三維建模領域，具體涉及一種手部三維數據確定方法、裝置及電子設備。

背景技術

手部數據是人機交互領域中重要的輸入數據，通過捕捉人體手部數據的變化可以實現利用手勢動作對智能設備進行控制。

現有的捕捉手部數據的方式通常是基于圖像特征提取的算法，確定指尖、手指、手指方向等數據，并可以進一步利用圖像跟蹤算法對這些關鍵點或者區域進行跟蹤，以此來實現人機交互控制等。

發明內容

本發明提供了一種確定手部三維數據的技術方案，包括：

獲取雙目攝像系統拍攝的第一手部圖像和第二手部圖像；

分別從所述第一手部圖像和第二手部圖像中識別至少一關鍵點以及覆蓋所述關鍵點的區域輪廓；

根據所述雙目攝像系統的攝像參數、從所述第一手部圖像識別出的各所述關鍵點和各所述區域輪廓以及從所述第二手部圖像識別出的各相應關鍵點和各相應區域輪廓，確定各所述關鍵點的深度信息以及各所述區域輪廓的深度信息；

至少根據各所述關鍵點及其深度信息和各所述區域輪廓及其深度信息，確定手部三維數據。

優選地，所述關鍵點包括以下至少之一：指尖、指關節點、掌心。

優選地，所述覆蓋所述關鍵點的區域輪廓包括以下至少之一：覆蓋指尖和/或指關節點的手指區域輪廓、覆蓋掌心的手掌區域輪廓。

優選地，所述手部三維數據包括以下至少之一：各所述關鍵點的三維數據、各所述區域輪廓的邊緣三維點云數據、手部方向數據、手勢信息。優選地，所述分別從所述第一手部圖像和第二手部圖像中識別至少一關鍵點以及覆蓋所述關鍵點的區域輪廓包括：

分別在所述第一手部圖像和第二手部圖像中識別掌心；

分別在所述第一手部圖像和第二手部圖像中根據識別的所述掌心的位置確定覆蓋所述掌心的手掌區域輪廓。

優選地，所述分別從所述第一手部圖像和第二手部圖像中識別關鍵點以及覆蓋所述關鍵點的區域輪廓包括：

分別在所述第一手部圖像和第二手部圖像中識別掌心；

分別在所述第一手部圖像和第二手部圖像中根據識別的所述掌心的位置確定至少一指尖和/或指關節點位置；

分別根據所述第一手部圖像和第二手部圖像中的各所述指尖和/或指關節點位置，確定各覆蓋所述指尖和/或指關節點的手指區域輪廓。

優選地，在所述分別根據所述第一手部圖像和第二手部圖像中的所述指尖位置確定手指區域輪廓后，還包括：分別在所述第一手部圖像和第二手部圖像中根據各個所述手指區域輪廓修正所述指尖位置并確定指根位置；根據修正后的指尖位置和所述指根位置確定各個手指區域輪廓的相對分布。

優選地，所述分別在所述第一手部圖像和第二手部圖像中根據手指區域輪廓修正所述指尖位置并確定指根位置，包括：

分別對各個手指區域輪廓上的邊緣點進行主成分分析處理，將得到的主方向作為手指方向；