[發明專利]手部姿態獲取方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202111572301.8
• 申請日: 2021-12-21
• 公開（公告）號: CN116301303A
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 余海桃;孫飛;吳濤
• 申請（專利權）人: 北京字跳網絡技術有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V20/64;G06V40/20
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 唐博

本公開涉及一種手部姿態獲取方法、裝置、電子設備及可讀存儲介質，該方法通過獲取手部關節點分別在多個參考圖像中的第一位置和手部關節點分別在多個待處理圖像中的第二位置；多個參考圖像包括手部為特定三維姿態時，基于多個視角將所述手部關節點分別進行映射獲得的圖像；多個待處理圖像包括針對手部在所述多個視角獲得的圖像；根據手部關節點分別對應的第一位置和第二位置進行最小二乘優化，對手部關節點在多個待處理圖像中的第二位置進行調整；基于手部關節點在多個待處理圖像中的調整后的第二位置，獲得手部的目標三維姿態。該方法通過多視角的觀測優化位姿信息，能夠最大程度匹配多視圖的狀態，進而能夠提高獲得的手部的三維姿態的準確度。

技術領域

本公開涉及圖像處理技術領域，尤其涉及一種手部姿態獲取方法、裝置、電子設備及可讀存儲介質。

背景技術

獲取手部的三維姿態是指從圖像中準確識別出人體手部各關節點的位置，進而獲得手部的三維姿態。手部姿態識別常用于人機交互、增強現實或虛擬現實等應用中，是當前主流的交互方式之一。

目前，獲取手部的三維姿態是通過對關節點在圖像中的位置進行分析，獲取各關節點的在特定三維坐標系中的位置，基于手部各關節點在特定三維坐標系中的位置獲得手部的三維姿態。手部姿態的準確性極為重要，嚴重影響交互體驗。然而，采用上述方式獲取手部的三維姿態，可能由于一些關節點被遮擋、圖像不清晰等原因導致獲得的關節點在圖像中的位置不準確，進而影響獲取的手部的三維姿態的準確性。因此，如何獲取準確性更高的手部的三維姿態是當前亟待解決的問題。

發明內容

為了解決上述技術問題，本公開提供了一種手部姿態獲取方法、裝置、電子設備及可讀存儲介質。

第一方面，本公開提供了一種手部姿態獲取方法，包括：

獲取手部關節點分別在多個參考圖像中的第一位置；所述多個參考圖像包括手部為特定三維姿態時，基于多個視角將所述手部關節點分別進行映射獲得的圖像；

獲取所述手部關節點分別在多個待處理圖像中的第二位置；所述多個待處理圖像包括針對手部在所述多個視角獲得的圖像，同一視角的參考圖像和待處理圖像一一對應；

根據所述手部關節點分別在所述多個參考圖像中的第一位置和所述手部關節點分別在所述多個待處理圖像中的第二位置進行最小二乘優化LM，獲取所述手部關節點對應的調整后的第二位置；

將所述手部關節點對應的調整后的第二位置映射至預先建立的三維坐標系中，獲取所述手部的目標三維姿態。

作為一種可能的實施方式，所述根據手部關節點分別在所述多個參考圖像中的第一位置和所述手部關節點分別在所述多個待處理圖像中的第二位置進行LM，獲取所述手部關節點對應的優化后的位置，包括：

根據所述手部關節點分別在所述多個參考圖像中第一位置以及所述手部關節點分別在多個待處理圖像中的第二位置，獲取殘差項；

確定所述殘差項為最小值時，獲得的所述手部關節點的位置為所述手部關節點對應的調整后的第二位置。

作為一種可能的實施方式，所述手部關節點包括多個關節點；所述獲取手部關節點分別在多個參考圖像中的第一位置，包括：

獲取所述特定三維姿態時，每個所述關節點在第一坐標系中的位置；所述第一坐標系是根據所述特定三維姿態建立的三維坐標系；

針對每個所述參考圖像，根據所述關節點在所述第一坐標系中的位置以及所述第一坐標系與第二坐標系之間的轉換關系，獲取所述關節點在所述第二坐標系中的位置；其中，所述第二坐標系為所述參考圖像對應視角的圖像坐標系。

作為一種可能的實施方式，所述獲取所述特定三維姿態時，每個所述關節點在第一坐標系中的位置，包括：