[發(fā)明專利]一種基于單個(gè)深度相機(jī)的手部骨架高精度三維重建方法

有效

• 申請?zhí)枺?/td>: 202010112945.8
• 申請日: 2020-02-24
• 公開（公告）號: CN111429499B
• 公開（公告）日: 2023-03-10
• 發(fā)明（設(shè)計(jì)）人: 陸遙;信閆奇;朱慶堂;呂璐璐;劉小林
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06T17/00;G06T5/00;G06T7/80
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 陳偉斌

本發(fā)明涉及計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)技術(shù)領(lǐng)域，更具體地，涉及一種基于單個(gè)深度相機(jī)的手部骨架高精度三維重建方法。一種基于單個(gè)深度相機(jī)的手部骨架高精度三維重建方法，利用單個(gè)深度相機(jī)多角度采集手部深度數(shù)據(jù)和RGB數(shù)據(jù)，提取RGB圖像中的手部骨架關(guān)鍵點(diǎn)并映射到對應(yīng)的深度數(shù)據(jù)點(diǎn)，將多角度采集到的精確關(guān)鍵點(diǎn)匹配，同時(shí)利用手部骨架拓?fù)浣Y(jié)構(gòu)校正，得到高精度的手部骨架三維模型。本發(fā)明可以解決基于視覺圖像序列三維重建方法中受距離、光線以及手部自身遮擋等因素影響下精度不足的問題，能夠重建出真實(shí)的高精度的手部骨架三維模型。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)技術(shù)領(lǐng)域，更具體地，涉及一種基于單個(gè)深度相機(jī)的手部骨架高精度三維重建方法。

背景技術(shù)

手部骨架模型在生物醫(yī)學(xué)工程、物理療法、醫(yī)學(xué)診斷和康復(fù)學(xué)中都有研究。對手部骨架的三維建模不僅在療養(yǎng)院、醫(yī)院等場所有廣泛的需求，在游戲產(chǎn)業(yè)、安全防護(hù)、工傷認(rèn)定、軍工仿真等領(lǐng)域也有很多應(yīng)用。在運(yùn)動(dòng)功能評估、場景監(jiān)控、生物測量學(xué)發(fā)展的推動(dòng)下，對人的手部骨架進(jìn)行高精度的三維重建受到廣泛的重視。高精度的手部骨架三維重建一直是計(jì)算機(jī)視覺和圖形學(xué)領(lǐng)域的熱點(diǎn)研究問題之一。建立高精度的手部骨架三維重建模型，尤其是針對各種病變、關(guān)節(jié)缺失的手部建立精準(zhǔn)的三維骨架模型是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。目前通用的手部骨架三維重建方法多是基于視覺圖像序列。由于視覺感知會(huì)受到距離、光線變化以及手部自身遮擋等因素影響，導(dǎo)致效率和精度等性能降低，從而難以重建出真實(shí)的高精度的手部骨架三維模型。

發(fā)明內(nèi)容

本發(fā)明為克服現(xiàn)有技術(shù)中基于視覺圖像序列的手部骨架三維重建方法中，由于視覺感知會(huì)受到距離、光線變化以及手部自身遮擋等因素影響，導(dǎo)致效率和精度等性能降低，從而難以重建出真實(shí)的高精度的手部骨架三維模型的問題，提出一種基于單個(gè)深度相機(jī)的手部骨架高精度三維重建方法。

為解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案是：

一種基于單個(gè)深度相機(jī)的手部骨架高精度三維重建方法,包括以下步驟：

S1：標(biāo)定單個(gè)深度相機(jī)的深度數(shù)據(jù)、RGB數(shù)據(jù)內(nèi)部參數(shù)以及多角度的外部位置參數(shù)，利用單個(gè)深度相機(jī)多角度采集手部的深度數(shù)據(jù)和RGB數(shù)據(jù)；

S2：對各個(gè)角度采集到的手部RGB數(shù)據(jù)分割出該角度下的手部骨架關(guān)鍵點(diǎn)二維圖，將二維手部骨架關(guān)鍵點(diǎn)映射到對應(yīng)的深度數(shù)據(jù)中，得到該角度下的手部骨架關(guān)鍵點(diǎn)三維結(jié)構(gòu)；

S3：利用步驟S1中的多角度外部位置參數(shù)，將步驟S2中的各角度下的手部骨架關(guān)鍵點(diǎn)三維結(jié)構(gòu)配準(zhǔn)到同一個(gè)三維坐標(biāo)系下，得到初步手部骨架三維模型；S4：利用手部骨架拓?fù)浣Y(jié)構(gòu)，對步驟S3中得到的初步手部骨架三維模型進(jìn)行手指中心線校正、手部整體拓?fù)浣Y(jié)構(gòu)校正，得到高精度的手部骨架三維模型。

優(yōu)選地，所述步驟S2具體包括以下步驟：

s21：對步驟S1中得到的RGB手部圖像數(shù)據(jù)使用雙邊濾波進(jìn)行平滑去噪，得到低噪音并且保持特征的數(shù)據(jù)；

s22：使用深度學(xué)習(xí)技術(shù)訓(xùn)練手部關(guān)鍵點(diǎn)提取模型，分割出步驟s21中RGB圖像中的手部關(guān)鍵點(diǎn)二維坐標(biāo)；

s23：將步驟s22中獲取手部關(guān)鍵點(diǎn)二維坐標(biāo)與該RGB圖像對應(yīng)的深度數(shù)據(jù)對應(yīng)，獲得深度坐標(biāo)，得到該角度下手部骨架關(guān)鍵點(diǎn)三維結(jié)構(gòu)。

優(yōu)選地，所述步驟S3主要包括以下步驟：

s31：分析對于各角度下提取的手部骨架關(guān)鍵點(diǎn)，選取2個(gè)或2個(gè)以上共同看到的關(guān)鍵點(diǎn)；

s32：利用步驟S1中設(shè)定的相機(jī)外部位置參數(shù)，結(jié)合步驟s31中選取的關(guān)鍵點(diǎn)，固定一個(gè)角度，將其它角度下的關(guān)鍵點(diǎn)匹配到固定的角度下的三維坐標(biāo)系下，得到初步手部骨架三維模型。

優(yōu)選地，所述步驟S4主要包括以下步驟：