[發明專利]一種位置確定方法及裝置

有效

• 申請號: 202010228977.4
• 申請日: 2020-03-27
• 公開（公告）號: CN111462234B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 彭博文;李驪
• 申請（專利權）人: 北京華捷艾米科技有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/55;G06N3/045;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 儲倩

本申請公開了一種位置確定方法，該方法包括：獲取包括用戶手部的深度圖像，根據該深度圖像得到手部的N個關節分別對應的第一坐標和第二坐標。第一坐標為在圖像坐標系中的二維坐標，第二坐標為在世界坐標系中的三維坐標。由于根據深度圖像得到的關節的三維坐標可能不太準確，因此，在本申請實施例中，除了計算得到三維坐標之外，還可以計算得到關節的二維坐標。并結合關節的二維坐標和三維坐標來確定關節的位置。具體地，若關節的二維坐標比較準確，則將關節的第一坐標和關節的第二坐標的z值所確定的三維坐標確定為關節的位置，若關節的三維坐標比較準確，則將關節的三維坐標確定為關節的位置，從而使得所確定的關節位置更加準確。

技術領域

本申請涉及圖像處理領域，特別是涉及一種位置確定方法及裝置。

背景技術

隨著增強現實(Augmented?Reality，AR)技術和混合現實(Mixed?Reality，MR)技術的發展，用戶與虛擬世界的物體進行交互成為可能。用戶與虛擬世界的物體進行交互最直接的方式是通過手勢交互。因此，確定用戶的手勢尤為重要。具體地，可以通過用戶的手指關節的實際位置，來確定用戶的手勢。

目前的確定手指關節位置的方案，并不能準確的確定出手指關節的實際位置。因此，急需一種方案，可以解決上述問題。

發明內容

本申請所要解決的技術問題是：傳統技術所確定的手指關節的實際位置不準確，提供一種位置確定方法及裝置。

第一方面，本申請實施例提供了一種位置確定方法，所述方法包括：

獲取包括用戶手部的深度圖像；

根據所述深度圖像得到所述手部的N個關節分別對應的第一坐標和第二坐標，所述第一坐標為在圖像坐標系中的二維坐標，所述第二坐標為在世界坐標系中的三維坐標；

根據所述N個關節分別對應的第一坐標和第二坐標，確定所述N個關節的位置，其中，第一關節為所述N個關節中的任意一個關節，所述第一關節的位置為：根據所述第一關節的所述第一坐標和所述第一關節對應的深度值得到的在世界坐標系中的三維坐標，或者，所述第一關節的所述第二坐標。

可選的，所述根據所述深度圖像得到所述手部的N個關節分別對應的第一坐標，包括：

根據所述深度圖像確定所述N個關節分別對應的熱圖，其中，所述第一關節的熱圖包括多個像素和所述多個像素的概率值，所述多個像素的概率值用于指示所述多個像素為第一關節的概率；

根據所述N個關節分別對應的熱圖計算得到所述N個關節對應的第一坐標；

其中：第一關節對應的第一坐標，通過如下方式計算得到：

根據所述第一關節對應的熱圖中第一像素對應的概率值、所述第一像素在圖像坐標系中的坐標、第一像素的M個鄰域像素的概率值以及所述M個鄰域像素在圖像坐標系中的坐標，計算得到所述第一關節對應的第一坐標，所述第一像素對應的概率值為所述第一關節對應的熱圖中包括的各個像素的概率值的最大值。

可選的，所述根據所述深度圖像確定所述N個關節分別對應的熱圖，包括：

將所述深度圖像輸入第一深度學習模型中，得到所述N個關節分別對應的熱圖，其中，所述第一深度學習模型用于根據包括用戶手部的深度圖像得到手部的N個關節分別對應的熱圖。

可選的，所述根據所述深度圖像得到所述手部的N個關節分別對應的第二坐標，包括：

將所述深度圖像輸入第二深度學習模型中，得到所述N個關節分別對應的第二坐標，其中，所述第二深度學習模型用于根據包括用戶手部的深度圖像得到手部的N個關節分別對應的第二坐標。

可選的，