[發(fā)明專利]一種基于視頻的實(shí)時(shí)手部追蹤方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011074015.4
• 申請(qǐng)日: 2020-10-12
• 公開(kāi)（公告）號(hào): CN112183424A
• 公開(kāi)（公告）日: 2021-01-05
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 北京華嚴(yán)互娛科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種基于視頻的實(shí)時(shí)手部追蹤方法和系統(tǒng)，其中方法包括：輸入視頻幀圖像；通過(guò)一手掌檢測(cè)模型對(duì)所述視頻幀圖像進(jìn)行實(shí)時(shí)手掌檢測(cè)，并對(duì)檢測(cè)到手掌進(jìn)行圖像裁剪，得到手掌圖像；通過(guò)一手部標(biāo)識(shí)模型對(duì)所述手掌圖像進(jìn)行手指關(guān)鍵點(diǎn)定位檢測(cè)，得到所述手掌圖像上的每個(gè)手指關(guān)鍵點(diǎn)的坐標(biāo)位置并標(biāo)識(shí)；通過(guò)一手勢(shì)識(shí)別模型對(duì)所述手部標(biāo)識(shí)模型所標(biāo)識(shí)的手勢(shì)圖像進(jìn)行手勢(shì)識(shí)別，得到手部姿態(tài)實(shí)時(shí)識(shí)別結(jié)果。本發(fā)明實(shí)現(xiàn)了對(duì)手部的實(shí)時(shí)有效追蹤。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像識(shí)別和動(dòng)畫(huà)技術(shù)領(lǐng)域，具體涉及一種基于視頻的實(shí)時(shí)手部追蹤方法和系統(tǒng)。

背景技術(shù)

當(dāng)今，有數(shù)百萬(wàn)人在使用手語(yǔ)進(jìn)行交流，但到目前為止，關(guān)于捕捉復(fù)雜手勢(shì)并將翻譯成口頭語(yǔ)言的研究，取得的進(jìn)展相當(dāng)有限。由于手部動(dòng)作通常是快速的、微妙的，而且手部在運(yùn)動(dòng)過(guò)程中經(jīng)常會(huì)被遮擋住，手部圖像和背景圖像通常又缺乏高對(duì)比度，所以想從視頻幀圖像中快速識(shí)別出手部圖像并不容易，即便是采用多攝像頭從多個(gè)角度對(duì)手部進(jìn)行捕捉或者采用其他的深度感應(yīng)裝置去感知手部區(qū)域圖像也難以做到對(duì)手部的實(shí)時(shí)動(dòng)態(tài)跟蹤。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于視頻的實(shí)時(shí)手部追蹤方法和系統(tǒng)，以解決上述技術(shù)問(wèn)題。

為達(dá)此目的，本發(fā)明采用以下技術(shù)方案：

提供一種基于視頻的實(shí)時(shí)手部追蹤方法，包括：

輸入視頻幀圖像；

通過(guò)一手掌檢測(cè)模型對(duì)所述視頻幀圖像進(jìn)行實(shí)時(shí)手掌檢測(cè)，并對(duì)檢測(cè)到手掌進(jìn)行圖像裁剪，得到手掌圖像；

通過(guò)一手部標(biāo)識(shí)模型對(duì)所述手掌圖像進(jìn)行手指關(guān)鍵點(diǎn)定位檢測(cè)，得到所述手掌圖像上的每個(gè)手指關(guān)鍵點(diǎn)的坐標(biāo)位置并標(biāo)識(shí)；

通過(guò)一手勢(shì)識(shí)別模型對(duì)所述手部標(biāo)識(shí)模型所標(biāo)識(shí)的手勢(shì)圖像進(jìn)行手勢(shì)識(shí)別，得到手部姿態(tài)實(shí)時(shí)識(shí)別結(jié)果。

優(yōu)選地，訓(xùn)練所述手掌檢測(cè)模型的方法包括如下步驟：

選定30000張包含手掌的所述視頻幀圖像作為所述手掌檢測(cè)模型的訓(xùn)練樣本；

將作為訓(xùn)練樣本的所述視頻幀圖像輸入到一深度學(xué)習(xí)網(wǎng)絡(luò)中，訓(xùn)練形成一手掌檢測(cè)初始模型；

通過(guò)所述手掌檢測(cè)初始模型對(duì)所述視頻幀圖像進(jìn)行手掌檢測(cè)，輸出檢測(cè)結(jié)果；

對(duì)所述手掌檢測(cè)初始模型輸出的所述檢測(cè)結(jié)果進(jìn)行人工校驗(yàn)以評(píng)估模型性能，然后根據(jù)模型性能評(píng)估結(jié)果調(diào)整所述深度學(xué)習(xí)網(wǎng)絡(luò)的模型訓(xùn)練參數(shù)；

根據(jù)所調(diào)整的模型訓(xùn)練參數(shù)，并以所述視頻幀圖像為訓(xùn)練樣本，對(duì)所述手掌檢測(cè)初始模型進(jìn)行迭代更新，最終訓(xùn)練形成所述手掌檢測(cè)模型。

優(yōu)選地，所述深度學(xué)習(xí)網(wǎng)絡(luò)為RPN網(wǎng)絡(luò)結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)。

優(yōu)選地，所述視頻幀圖像的尺寸為256×256。

優(yōu)選地，所述深度學(xué)習(xí)網(wǎng)絡(luò)包括依次級(jí)聯(lián)的5個(gè)卷積層，尺寸為256×256的所述視頻幀圖像經(jīng)所述深度學(xué)習(xí)網(wǎng)絡(luò)的第一卷積層的圖像特征提取后輸出128×128的特征圖；尺寸為128×128的特征圖經(jīng)第二卷積層的圖像特征提取后輸出64×64的特征圖；64×64的特征圖經(jīng)第三卷積層的圖像特征提取后輸出32×32的特征圖；32×32的特征圖經(jīng)第四卷積層的圖像特征提取后輸出16×16的特征圖；16×16的特征圖經(jīng)第五卷積層的圖像特征提取后輸出8×8的特征圖。

優(yōu)選地，所述手指關(guān)鍵點(diǎn)包括21個(gè)具有3D坐標(biāo)的可表征出手掌形狀的手指關(guān)鍵點(diǎn)。

優(yōu)選地，所述手勢(shì)識(shí)別模型識(shí)別手勢(shì)的方法包括如下步驟：

根據(jù)手指關(guān)鍵點(diǎn)標(biāo)識(shí)結(jié)果，按照預(yù)設(shè)尺寸從所述手掌圖像上裁剪出所述手勢(shì)圖像；