[發(fā)明專利]一種動(dòng)態(tài)手勢(shì)識(shí)別方法、手勢(shì)交互方法及交互系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110252206.3
• 申請(qǐng)日: 2021-03-08
• 公開（公告）號(hào): CN112949512B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 施順順;武斌;蔣睿;王沁怡;張偉;宮超
• 申請(qǐng)（專利權(quán)）人: 豪威芯侖傳感器（上海）有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/764;G06V10/82;G06K9/62;G06N3/02;G06F3/01
• 代理公司: 北京思睿峰知識(shí)產(chǎn)權(quán)代理有限公司 11396
• 代理人: 高攀;謝建云

本發(fā)明公開了一種動(dòng)態(tài)手勢(shì)識(shí)別方法、手勢(shì)交互方法及交互系統(tǒng)。其中，交互系統(tǒng)包括：動(dòng)態(tài)視覺(jué)傳感器，適于基于視場(chǎng)中對(duì)象和動(dòng)態(tài)視覺(jué)傳感器的相對(duì)運(yùn)動(dòng)而觸發(fā)事件，并輸出事件數(shù)據(jù)流給手部檢測(cè)模塊；手部檢測(cè)模塊，適于對(duì)事件數(shù)據(jù)流進(jìn)行處理，以確定手部初始位置；手部跟蹤模塊，適于基于手部初始位置，在事件數(shù)據(jù)流中確定出一系列指示手部運(yùn)動(dòng)狀態(tài)的狀態(tài)向量；手勢(shì)識(shí)別模塊，適于基于所獲取的狀態(tài)向量所指向的事件數(shù)據(jù)，構(gòu)建事件云，并利用基于點(diǎn)云的神經(jīng)網(wǎng)絡(luò)，對(duì)事件云進(jìn)行處理，以識(shí)別出手勢(shì)類別；指令響應(yīng)模塊，適于基于所識(shí)別的手勢(shì)類別，執(zhí)行相應(yīng)的操作指令。本發(fā)明一并公開相應(yīng)的計(jì)算設(shè)備。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)領(lǐng)域，尤其涉及基于動(dòng)態(tài)手勢(shì)識(shí)別的人機(jī)交互方法。

背景技術(shù)

人機(jī)交互系統(tǒng)通過(guò)研究人與計(jì)算機(jī)之間的相互理解與通信，在最大程度上為人們完成信息管理、服務(wù)和處理等功能。從最初的基于傳統(tǒng)的硬件設(shè)備的交互，比如鼠標(biāo)、鍵盤，到現(xiàn)如今的基于計(jì)算機(jī)視覺(jué)的人機(jī)交互系統(tǒng)，人機(jī)交互的發(fā)展非常迅速。

其中，基于計(jì)算機(jī)視覺(jué)的人機(jī)交互系統(tǒng)，典型的有基于語(yǔ)音識(shí)別的人機(jī)交互，最具代表性的是蘋果公司推出的Siri；基于動(dòng)作識(shí)別的人機(jī)交互，最具代表性的是微軟的Kinect；和基于眼球的人機(jī)交互，最具代表性的是Magic Leap公司的Magic Leap One AR眼鏡。在基于動(dòng)作識(shí)別的人機(jī)交互技術(shù)中，一種廣泛應(yīng)用的方法為，在圖像中對(duì)人手進(jìn)行檢測(cè)和跟蹤，并提取手部特征對(duì)靜態(tài)手勢(shì)進(jìn)行描述。之后，通過(guò)識(shí)別出靜態(tài)手勢(shì)，來(lái)根據(jù)手勢(shì)執(zhí)行對(duì)應(yīng)的指令。但這種方法受限于數(shù)據(jù)幀率的影響，響應(yīng)時(shí)間較長(zhǎng)，同時(shí)，由于步驟多、過(guò)程繁瑣，這種方法在算法處理時(shí)計(jì)算負(fù)載高、且功耗高。此外，傳統(tǒng)的人機(jī)交互系統(tǒng)需要與硬件平臺(tái)集成在一起，安裝比較復(fù)雜。

基于上述問(wèn)題，需要一種新的基于動(dòng)態(tài)手勢(shì)識(shí)別的人機(jī)交互方案。

發(fā)明內(nèi)容

本發(fā)明提供了一種動(dòng)態(tài)手勢(shì)識(shí)別方法、手勢(shì)交互方法及交互系統(tǒng)，以力圖解決或者至少緩解上面存在的至少一個(gè)問(wèn)題。

根據(jù)本發(fā)明的一個(gè)方面，提供了一種動(dòng)態(tài)手勢(shì)跟蹤方法，包括步驟：按照預(yù)定時(shí)間間隔，對(duì)來(lái)自動(dòng)態(tài)視覺(jué)傳感器的事件數(shù)據(jù)流進(jìn)行處理，以生成一系列事件累積圖；基于事件累積圖，確定出手部初始位置；以與手部初始位置對(duì)應(yīng)的事件累積圖相鄰的下一事件累積圖為初始幀，基于手部初始位置，從初始幀中確定出手部測(cè)量位置；以及結(jié)合手部初始位置和手部測(cè)量位置，分別確定出各事件累積圖中指示手部運(yùn)動(dòng)狀態(tài)的狀態(tài)向量。

可選地，在根據(jù)本發(fā)明的方法中，基于事件累積圖，確定出手部初始位置的步驟包括：針對(duì)一個(gè)事件累積圖，確定事件累積圖中的高能量密度點(diǎn)；利用目標(biāo)檢測(cè)網(wǎng)絡(luò)，從該事件累積圖中確定出至少一個(gè)手部檢測(cè)區(qū)域；以高能量密度點(diǎn)為中心，按照手部檢測(cè)區(qū)域的尺寸，對(duì)應(yīng)生成至少一個(gè)矩形區(qū)域；分別計(jì)算矩形區(qū)域與手部檢測(cè)區(qū)域的重合率；若重合率大于預(yù)設(shè)值，則將高能量密度點(diǎn)的位置作為手部初始位置；若重合率不大于預(yù)設(shè)值，則從下一事件累積圖中計(jì)算出高能量密度點(diǎn)和手部檢測(cè)區(qū)域、并根據(jù)手部檢測(cè)區(qū)域與矩形區(qū)域的重合率來(lái)確定出手部初始位置。

可選地，在根據(jù)本發(fā)明的方法中，針對(duì)一個(gè)事件累積圖，確定當(dāng)前事件累積圖中的高能量密度點(diǎn)的步驟包括：利用該事件累積圖和與其相鄰的至少一個(gè)事件累積圖，生成能量密度圖；將能量密度圖分成多個(gè)尺寸相同的區(qū)域；根據(jù)各區(qū)域內(nèi)像素值之和以及像素值為非零的像素的個(gè)數(shù)，分別確定出對(duì)應(yīng)區(qū)域的能量密度；從所有區(qū)域中去除能量密度不符合預(yù)定條件的區(qū)域，得到剩余區(qū)域；在剩余區(qū)域內(nèi)，選取能量密度最大的區(qū)域，并計(jì)算所選區(qū)域中像素坐標(biāo)位置的均值，作為高能量密度點(diǎn)。

可選地，在根據(jù)本發(fā)明的方法中，以與手部初始位置對(duì)應(yīng)的事件累積圖相鄰的下一事件累積圖為初始幀，基于手部初始位置，從初始幀中確定出手部測(cè)量位置的步驟包括：基于手部初始位置，在初始幀中確定出第一搜索區(qū)域；通過(guò)依次判斷初始幀中的事件數(shù)據(jù)是否處于第一搜索區(qū)域，來(lái)迭代更新第一搜索區(qū)域，得到至少一個(gè)新的第一搜索區(qū)域；利用第一搜索區(qū)域和所有新的第一搜索區(qū)域，得到第一搜索區(qū)域的集合；根據(jù)在第一搜索區(qū)域的集合中的所有事件數(shù)據(jù)的數(shù)量及其坐標(biāo)位置，確定出手部測(cè)量位置。