[發明專利]手部姿態獲取方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202111572301.8
• 申請日: 2021-12-21
• 公開（公告）號: CN116301303A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 余海桃;孫飛;吳濤
• 申請（專利權）人: 北京字跳網絡技術有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V20/64;G06V40/20
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 唐博

1.一種手部姿態獲取方法，其特征在于，包括：

獲取手部關節點分別在多個參考圖像中的第一位置；所述多個參考圖像包括手部為特定三維姿態時，基于多個視角將所述手部關節點分別進行映射獲得的圖像；

獲取所述手部關節點分別在多個待處理圖像中的第二位置；所述多個待處理圖像包括針對手部在所述多個視角獲得的圖像，同一視角的參考圖像和待處理圖像一一對應；

根據所述手部關節點分別在所述多個參考圖像中的第一位置和所述手部關節點分別在所述多個待處理圖像中的第二位置進行最小二乘優化LM，獲取所述手部關節點對應的調整后的第二位置；

將所述手部關節點對應的調整后的第二位置映射至預先建立的三維坐標系中，獲取所述手部的目標三維姿態。

2.根據權利要求1所述的方法，其特征在于，所述根據手部關節點分別在所述多個參考圖像中的第一位置和所述手部關節點分別在所述多個待處理圖像中的第二位置進行LM，獲取所述手部關節點對應的優化后的位置，包括：

根據所述手部關節點分別在所述多個參考圖像中第一位置以及所述手部關節點分別在多個待處理圖像中的第二位置，獲取殘差項；

確定所述殘差項為最小值時，獲得的所述手部關節點的位置為所述手部關節點對應的調整后的第二位置。

3.根據權利要求1或2所述的方法，其特征在于，所述手部關節點包括多個關節點；所述獲取手部關節點分別在多個參考圖像中的第一位置，包括：

獲取所述特定三維姿態時，每個所述關節點在第一坐標系中的位置；所述第一坐標系是根據所述多個視角建立的世界坐標系；

針對每個所述參考圖像，根據所述關節點在所述第一坐標系中的位置以及所述第一坐標系與第二坐標系之間的轉換關系，獲取所述關節點在所述第二坐標系中的位置；其中，所述第二坐標系為所述參考圖像對應視角的相機坐標系；

針對每個視角，根據所述關節點在所述視角對應的第二坐標系中的位置以及相應的相機參數，獲取所述關節點在所述視角對應的參考圖像中的第一位置。

4.根據權利要求3所述的方法，其特征在于，所述獲取所述特定三維姿態時，每個所述關節點在第一坐標系中的位置，包括：

獲取所述特定三維姿態的手部模型中所述多個關節點分別對應的模型數據；

針對每個所述關節點，根據所述關節點對應的模型數據以及關聯關節點對應的模型數據，獲取所述關節點在所述第一坐標系中的位置；其中，所述關聯關節點為所述關節點對應的父節點。

5.根據權利要求4所述的方法，其特征在于，所述根據所述關節點對應的模型數據以及關聯關節點對應的模型數據，獲取所述關節點在第一坐標系中的位置，包括：

根據所述關節點相對于所述關聯關節點的位移數據、第一旋轉矩陣以及所述關聯關節點在第三坐標系中的位置，獲取所述關節點在所述第三坐標系中的位置，所述第三坐標系為根據所述手部模型建立的三維坐標系；

根據所述第三坐標系與所述第一坐標系之間的轉換關系，獲取各所述關節點分別在所述第一坐標系中的位置；

其中，所述關節點的模型數據包括所述關節點的旋轉數據和所述關節點相對于所述關聯關節點的位移數據；所述第一旋轉矩陣為所述關節點相對于所述關聯關節點的旋轉矩陣，所述第一旋轉矩陣根據所述關節點的旋轉數據以及所述關聯關節點的對應的第一旋轉矩陣獲得。

6.根據權利要求5所述的方法，其特征在于，所述根據所述關節點相對于所述關聯關節點的位移數據、第一旋轉矩陣以及所述關聯關節點在第三坐標系中的位置，獲取所述關節點在所述第三坐標系中的位置，包括：

將所述關節點相對于所述關聯關節點的位移數據和所述第一旋轉矩陣相乘，將相乘獲得的結果與所述關聯關節點在所述第三坐標系中的位置相加，獲得所述關節點在所述第三坐標系中的位置。