[發明專利]手部三維數據確定方法、裝置及電子設備

有效

• 申請號: 201710198505.7
• 申請日: 2017-03-29
• 公開（公告）號: CN108230383B
• 公開（公告）日: 2021-03-23
• 發明（設計）人: 王權;錢晨
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T7/564
• 分類號: G06T7/564;G06K9/00;G06K9/46
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

1.一種手部三維數據確定方法，其特征在于，包括：

獲取雙目攝像系統拍攝的第一手部圖像和第二手部圖像；

分別從所述第一手部圖像和第二手部圖像中識別至少一關鍵點以及覆蓋所述關鍵點的區域輪廓；所述關鍵點包括：指尖、指關節點、指根和掌心；所述覆蓋所述關鍵點的區域輪廓包括：覆蓋指尖和指關節點的手指區域輪廓、覆蓋掌心的手掌區域輪廓；所述識別至少一關鍵點以及覆蓋所述關鍵點的區域輪廓，包括：識別所述指尖、指關節點、指根和掌心的位置，確定各個手指區域輪廓的相對分布、手指方向和手掌法向；

根據所述雙目攝像系統的攝像參數、從所述第一手部圖像識別出的各所述關鍵點和各所述區域輪廓以及從所述第二手部圖像識別出的各相應關鍵點和各相應區域輪廓，確定各所述關鍵點的深度信息以及各所述區域輪廓的深度信息；

確定覆蓋所述關鍵點的區域輪廓的點云數據；基于所述點云數據得到手部方向數據；根據所述點云數據和手部方向數據，確定所述關鍵點的三維數據。

2.根據權利要求1所述的方法，其特征在于，所述手部三維數據包括以下至少之一：各所述關鍵點的三維數據、各所述區域輪廓的邊緣三維點云數據、手部方向數據、手勢信息。

3.根據權利要求1或2所述的方法，其特征在于，所述分別從所述第一手部圖像和第二手部圖像中識別至少一關鍵點以及覆蓋所述關鍵點的區域輪廓包括：

分別在所述第一手部圖像和第二手部圖像中識別掌心；

分別在所述第一手部圖像和第二手部圖像中根據識別的所述掌心的位置確定覆蓋所述掌心的手掌區域輪廓。

4.根據權利要求1或2所述的方法，其特征在于，所述分別從所述第一手部圖像和第二手部圖像中識別關鍵點以及覆蓋所述關鍵點的區域輪廓包括：

分別在所述第一手部圖像和第二手部圖像中識別掌心；

分別在所述第一手部圖像和第二手部圖像中根據識別的所述掌心的位置確定至少一指尖和/或指關節點位置；

分別根據所述第一手部圖像和第二手部圖像中的各所述指尖和/或指關節點位置，確定各覆蓋所述指尖和/或指關節點的手指區域輪廓。

5.根據權利要求4所述的方法，其特征在于，

在所述分別根據所述第一手部圖像和第二手部圖像中的所述指尖位置確定手指區域輪廓后，還包括：分別在所述第一手部圖像和第二手部圖像中根據各個所述手指區域輪廓修正所述指尖位置并確定指根位置；根據修正后的指尖位置和所述指根位置確定各個手指區域輪廓的相對分布。

6.根據權利要求5所述的方法，其特征在于，所述分別在所述第一手部圖像和第二手部圖像中根據手指區域輪廓修正所述指尖位置并確定指根位置，包括：

分別對各個手指區域輪廓上的邊緣點進行主成分分析處理，將得到的主方向作為手指方向；

分別將各所述手指方向上的最大投影點確定為修正后的指尖位置；

分別將各所述手指方向上的最小投影點確定為指根位置。

7.根據權利要求5所述的方法，其特征在于，所述根據修正后的指尖位置和所述指根位置確定各個手指區域輪廓的相對分布，包括：

分別確定各個所述指根位置相對于所述掌心的位置的方向；

確定各個所述指根位置相對于所述掌心的位置的方向的平均方向；

分別將各個所述指根位置相對于所述掌心的位置的方向與所述平均方向進行比對；

剔除偏離所述平均方向大于預設閾值的方向所對應的指根位置；

根據保留的各個指根位置相對于所述掌心的位置的方向確定各個手指的相對分布。

8.根據權利要求3所述的方法，其特征在于，所述分別在所述第一手部圖像和第二手部圖像中識別掌心，包括：

分別在經過二值化處理后所述第一手部圖像和第二手部圖像中確定最大連通區域輪廓；

分別根據所述第一手部圖像和第二手部圖像中最大連通區域輪廓確定所述掌心的位置。