[發(fā)明專利]一種位置確定方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010228977.4
• 申請(qǐng)日: 2020-03-27
• 公開（公告）號(hào): CN111462234B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計(jì)）人: 彭博文;李驪
• 申請(qǐng)（專利權(quán)）人: 北京華捷艾米科技有限公司
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06T7/55;G06N3/045;G06N3/08
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 儲(chǔ)倩

1.一種位置確定方法，其特征在于，所述方法包括：

獲取包括用戶手部的深度圖像；

根據(jù)所述深度圖像得到所述手部的N個(gè)關(guān)節(jié)分別對(duì)應(yīng)的第一坐標(biāo)和第二坐標(biāo)，所述第一坐標(biāo)為在圖像坐標(biāo)系中的二維坐標(biāo)，所述第二坐標(biāo)為在世界坐標(biāo)系中的三維坐標(biāo)；

根據(jù)所述N個(gè)關(guān)節(jié)分別對(duì)應(yīng)的第一坐標(biāo)和第二坐標(biāo)，確定所述N個(gè)關(guān)節(jié)的位置，其中，第一關(guān)節(jié)為所述N個(gè)關(guān)節(jié)中的任意一個(gè)關(guān)節(jié)，所述第一關(guān)節(jié)的位置為：根據(jù)所述第一關(guān)節(jié)的所述第一坐標(biāo)和所述第一關(guān)節(jié)對(duì)應(yīng)的深度值得到的在世界坐標(biāo)系中的三維坐標(biāo)，或者，所述第一關(guān)節(jié)的所述第二坐標(biāo)；

所述根據(jù)所述深度圖像得到所述手部的N個(gè)關(guān)節(jié)分別對(duì)應(yīng)的第一坐標(biāo)，包括：

根據(jù)所述深度圖像確定所述N個(gè)關(guān)節(jié)分別對(duì)應(yīng)的熱圖，其中，所述第一關(guān)節(jié)的熱圖包括多個(gè)像素和所述多個(gè)像素的概率值，所述多個(gè)像素的概率值用于指示所述多個(gè)像素為第一關(guān)節(jié)的概率；

根據(jù)所述N個(gè)關(guān)節(jié)分別對(duì)應(yīng)的熱圖計(jì)算得到所述N個(gè)關(guān)節(jié)對(duì)應(yīng)的第一坐標(biāo)；

其中：第一關(guān)節(jié)對(duì)應(yīng)的第一坐標(biāo)，通過如下方式計(jì)算得到：

根據(jù)所述第一關(guān)節(jié)對(duì)應(yīng)的熱圖中第一像素對(duì)應(yīng)的概率值、所述第一像素在圖像坐標(biāo)系中的坐標(biāo)、第一像素的M個(gè)鄰域像素的概率值以及所述M個(gè)鄰域像素在圖像坐標(biāo)系中的坐標(biāo)，計(jì)算得到所述第一關(guān)節(jié)對(duì)應(yīng)的第一坐標(biāo)，所述第一像素對(duì)應(yīng)的概率值為所述第一關(guān)節(jié)對(duì)應(yīng)的熱圖中包括的各個(gè)像素的概率值的最大值，具體為：

其中，P為第一關(guān)節(jié)的第一坐標(biāo)，ρ_i代表鄰域內(nèi)像素i對(duì)應(yīng)的概率值，P_i代表鄰域內(nèi)像素i在實(shí)際坐標(biāo)系中的坐標(biāo)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述深度圖像確定所述N個(gè)關(guān)節(jié)分別對(duì)應(yīng)的熱圖，包括：

將所述深度圖像輸入第一深度學(xué)習(xí)模型中，得到所述N個(gè)關(guān)節(jié)分別對(duì)應(yīng)的熱圖，其中，所述第一深度學(xué)習(xí)模型用于根據(jù)包括用戶手部的深度圖像得到手部的N個(gè)關(guān)節(jié)分別對(duì)應(yīng)的熱圖。

3.根據(jù)權(quán)利要求1-2任意一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述深度圖像得到所述手部的N個(gè)關(guān)節(jié)分別對(duì)應(yīng)的第二坐標(biāo)，包括：

將所述深度圖像輸入第二深度學(xué)習(xí)模型中，得到所述N個(gè)關(guān)節(jié)分別對(duì)應(yīng)的第二坐標(biāo)，其中，所述第二深度學(xué)習(xí)模型用于根據(jù)包括用戶手部的深度圖像得到手部的N個(gè)關(guān)節(jié)分別對(duì)應(yīng)的第二坐標(biāo)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，

若第一關(guān)節(jié)的所述第一坐標(biāo)符合預(yù)設(shè)約束條件，則所述第一關(guān)節(jié)的位置為根據(jù)所述第一關(guān)節(jié)的所述第一坐標(biāo)和所述第一關(guān)節(jié)的所述第二坐標(biāo)指示的深度值得到的三維坐標(biāo)，若所述第一關(guān)節(jié)的所述第二坐標(biāo)符合所述預(yù)設(shè)約束條件，則所述第一關(guān)節(jié)的位置為所述第一關(guān)節(jié)的所述第二坐標(biāo)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，若所述第一關(guān)節(jié)的所述第一坐標(biāo)滿足以下任意一項(xiàng)或者多項(xiàng)，則確定所述第一關(guān)節(jié)的所述第一坐標(biāo)符合預(yù)設(shè)約束條件：

當(dāng)所述第一關(guān)節(jié)為手指根關(guān)節(jié)或者手腕關(guān)節(jié)時(shí)，根據(jù)所述第一關(guān)節(jié)的第一坐標(biāo)計(jì)算得到的手指根關(guān)節(jié)與手腕關(guān)節(jié)之間的骨骼滿足手掌骨骼約束；或者，根據(jù)所述第一關(guān)節(jié)的第一坐標(biāo)計(jì)算得到的手指骨骼長(zhǎng)度在預(yù)設(shè)長(zhǎng)度范圍內(nèi)；或者，根據(jù)所述第一關(guān)節(jié)的第一坐標(biāo)計(jì)算得到的手指骨骼方向與人手的骨骼方向相符；或者，根據(jù)所述第一關(guān)節(jié)的第一坐標(biāo)計(jì)算得到的手指骨骼包括的深度無效像素的數(shù)量小于預(yù)設(shè)數(shù)量閾值，所述深度無效像素指的是深度值為無效值的像素；

若所述第一關(guān)節(jié)的所述第二坐標(biāo)滿足以下任意一項(xiàng)或者多項(xiàng)，則確定所述第一關(guān)節(jié)的所述第二坐標(biāo)符合預(yù)設(shè)約束條件：

當(dāng)所述第一關(guān)節(jié)為手指根關(guān)節(jié)或者手腕關(guān)節(jié)時(shí)，根據(jù)所述第一關(guān)節(jié)的第二坐標(biāo)計(jì)算得到的手指根關(guān)節(jié)與手腕關(guān)節(jié)之間的骨骼滿足手掌骨骼約束；或者，根據(jù)所述第一關(guān)節(jié)的第二坐標(biāo)計(jì)算得到的手指骨骼長(zhǎng)度在預(yù)設(shè)長(zhǎng)度范圍內(nèi)；或者，根據(jù)所述第一關(guān)節(jié)的第二坐標(biāo)計(jì)算得到的手指骨骼方向與人手的骨骼方向相符；或者，根據(jù)所述第一關(guān)節(jié)的第二坐標(biāo)計(jì)算得到的手指骨骼包括的深度無效像素的數(shù)量小于所述預(yù)設(shè)數(shù)量閾值。