[發(fā)明專(zhuān)利]手部動(dòng)作識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810097255.2
• 申請(qǐng)日: 2018-01-31
• 公開(kāi)（公告）號(hào): CN108399367B
• 公開(kāi)（公告）日: 2020-06-23
• 發(fā)明（設(shè)計(jì)）人: 陳健聰;康平陸;楊新宇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市阿西莫夫科技有限公司
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62;G06F3/01
• 代理公司: 廣州華進(jìn)聯(lián)合專(zhuān)利商標(biāo)代理有限公司 44224
• 代理人: 謝曲曲

本發(fā)明涉及一種手部動(dòng)作識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及可讀存儲(chǔ)介質(zhì)，其中，手部動(dòng)作識(shí)別包括如下步驟：通過(guò)圖像采集裝置采集待識(shí)別對(duì)象的圖像，將待識(shí)別對(duì)象的圖像輸入初始人體模型得到待識(shí)別對(duì)象的姿態(tài)信息；從姿態(tài)信息中選取手腕關(guān)節(jié)的位置信息，并根據(jù)手腕關(guān)節(jié)的位置信息獲取手部區(qū)域圖像；將手部區(qū)域圖像輸入預(yù)設(shè)手部動(dòng)作模型得到待識(shí)別對(duì)象的第一手部動(dòng)作。上述方法是先識(shí)別出被識(shí)別人的整體姿態(tài)，再定位至手部，在識(shí)別區(qū)域內(nèi)存在多個(gè)待識(shí)別對(duì)象時(shí)，且多個(gè)待識(shí)別對(duì)象之間互相遮擋時(shí)，也可以根據(jù)每個(gè)待識(shí)別對(duì)象的姿態(tài)判斷手部位置，提高了手部動(dòng)作識(shí)別的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，特別是涉及一種手部動(dòng)作識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)的進(jìn)步和發(fā)展，人機(jī)交互已經(jīng)成為人們生活中的一種需求。除了傳統(tǒng)的交互方式例如鼠標(biāo)鍵盤(pán)等，手勢(shì)交互也隨著技術(shù)的成熟而成為了一種主流。

傳統(tǒng)的手部跟蹤算法都是基于視覺(jué)的算法，在彩色圖像中根據(jù)膚色等特征識(shí)別出手部來(lái)進(jìn)行跟蹤，最近隨深度攝像頭的普及與流行，也有很多工作結(jié)合了深度圖像信息來(lái)進(jìn)行手部動(dòng)作的識(shí)別和跟蹤。但是如果該場(chǎng)景內(nèi)存在多個(gè)人時(shí)，對(duì)手部的識(shí)別和跟蹤難度會(huì)大大增加，容易發(fā)生判別錯(cuò)誤和偵測(cè)失敗的情況，無(wú)法準(zhǔn)確識(shí)別手部動(dòng)作。

發(fā)明內(nèi)容

基于此，有必要針對(duì)傳統(tǒng)方案中無(wú)法準(zhǔn)確識(shí)別手部動(dòng)作的問(wèn)題，提供一種手部動(dòng)作識(shí)別方法、裝置、計(jì)算機(jī)設(shè)備及可讀存儲(chǔ)介質(zhì)。

一種手部動(dòng)作識(shí)別方法，包括如下步驟：

通過(guò)圖像采集裝置采集待識(shí)別對(duì)象的圖像，將所述待識(shí)別對(duì)象的圖像輸入初始人體模型得到所述待識(shí)別對(duì)象的姿態(tài)信息；

從所述姿態(tài)信息中選取手腕關(guān)節(jié)的位置信息，并根據(jù)所述手腕關(guān)節(jié)的位置信息獲取手部區(qū)域圖像；

將所述手部區(qū)域圖像輸入預(yù)設(shè)手部動(dòng)作模型得到所述待識(shí)別對(duì)象的第一手部動(dòng)作。

在其中一個(gè)實(shí)施例中，所述初始人體模型包括初始關(guān)鍵點(diǎn)模型和初始連接模型；

所述將所述待識(shí)別對(duì)象的圖像輸入初始人體模型得到所述待識(shí)別對(duì)象的姿態(tài)信息的步驟，包括：

將所述待識(shí)別對(duì)象的圖像輸入所述初始關(guān)鍵點(diǎn)模型得到所述待識(shí)別對(duì)象的關(guān)鍵點(diǎn)信息；

將所述待識(shí)別對(duì)象的圖像輸入所述初始連接模型得到所述待識(shí)別對(duì)象的關(guān)節(jié)連接信息；

根據(jù)所述關(guān)鍵點(diǎn)信息和所述關(guān)節(jié)連接信息生成所述待識(shí)別對(duì)象的姿態(tài)信息。

在其中一個(gè)實(shí)施例中，所述方法還包括：

獲取訓(xùn)練圖像以及與所述訓(xùn)練圖像對(duì)應(yīng)的手部動(dòng)作；

提取所述訓(xùn)練圖像的訓(xùn)練手部特征；

將所述訓(xùn)練手部特征和與對(duì)應(yīng)的所述手部動(dòng)作輸入基礎(chǔ)模型中進(jìn)行訓(xùn)練得到預(yù)設(shè)手部動(dòng)作模型。

在其中一個(gè)實(shí)施例中，所述訓(xùn)練圖像包含若干張二維圖像，所述若干張二維圖像組成二維圖像組；

所述提取所述訓(xùn)練圖像的訓(xùn)練手部特征的步驟包括：

提取所述二維圖像組中的初始訓(xùn)練圖像的第一手部特征；

當(dāng)在所述初始訓(xùn)練圖像的第一手部特征不完整時(shí)，則繼續(xù)獲取所述二維圖像組中的初始訓(xùn)練圖像的下一訓(xùn)練圖像作為當(dāng)前訓(xùn)練圖像，并提取所述當(dāng)前訓(xùn)練圖像的補(bǔ)充手部特征；通過(guò)所述補(bǔ)充手部特征和所述第一手部特征得到第二手部特征；

當(dāng)所述第二手部特征不完整時(shí)，則繼續(xù)獲取所述二維圖像組中的下一訓(xùn)練圖像作為當(dāng)前訓(xùn)練圖像；直至所得到的所述第二手部特征為完整手部特征時(shí)，則將所述第二手部特征作為訓(xùn)練手部特征。

在其中一個(gè)實(shí)施例中，所述方法還包括：