[發(fā)明專利]一種TOF傳感器及單目攝像頭融合手勢識(shí)別裝置及手勢識(shí)別方法

在審

• 申請?zhí)枺?/td>: 202010185981.7
• 申請日: 2020-03-17
• 公開（公告）號: CN111381676A
• 公開（公告）日: 2020-07-07
• 發(fā)明（設(shè)計(jì)）人: 杜國銘;孫晅;馮大志
• 申請（專利權(quán)）人: 哈爾濱拓博科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提出一種TOF傳感器及單目攝像頭融合手勢識(shí)別裝置及手勢識(shí)別方法，所述方法首先利用目標(biāo)場景的TOF稀疏采樣數(shù)據(jù)分割主體目標(biāo)，隨后利用單目攝像頭所采集圖像提取手部特征，進(jìn)而分析得到手勢命令。所述裝置包括一個(gè)或多個(gè)TOF傳感器、單目攝像頭和計(jì)算平臺(tái)；所述裝置整體集成為一個(gè)模塊；所述計(jì)算平臺(tái)為嵌入式計(jì)算平臺(tái)；所述單目攝像頭配合一個(gè)或多個(gè)TOF傳感器捕獲用戶手勢動(dòng)作，所述用戶手勢動(dòng)作經(jīng)計(jì)算平臺(tái)處理后轉(zhuǎn)化為相應(yīng)的控制指令發(fā)送至受控設(shè)備；本發(fā)明所述方法及裝置可在復(fù)雜環(huán)境下準(zhǔn)確捕獲用戶手勢動(dòng)作，總體成本低、模塊化程度高、體積小、功耗低、擴(kuò)展性好，并可根據(jù)應(yīng)用場景進(jìn)行定制。

技術(shù)領(lǐng)域

本發(fā)明屬于手勢識(shí)別技術(shù)領(lǐng)域，特別是涉及一種TOF傳感器及單目攝像頭融合手勢識(shí)別裝置及手勢識(shí)別方法。

背景技術(shù)

用于手勢識(shí)別的傳感器主要包括單目/多目攝像頭、TOF和結(jié)構(gòu)光傳感器等。各類傳感器在性能、精度、成本各有不同，在不同場景中有著獨(dú)特的應(yīng)用。因此，為了滿足復(fù)雜場景及應(yīng)用需求往往將多種傳感器組合應(yīng)用，協(xié)同進(jìn)行檢測與識(shí)別。另一方面，手勢識(shí)別的設(shè)備成本隨著傳感器數(shù)量的增加而增加，因此需要在傳感器類型、數(shù)量和處理算法復(fù)雜度間尋找平衡。針對當(dāng)下手勢識(shí)別小型化、模塊化的趨勢，低成本、低復(fù)雜度的手勢識(shí)別方案具有重要的應(yīng)用價(jià)值。

目前采用多傳感器融合的檢測及識(shí)別方案通常硬件成本較高，融合算法較為復(fù)雜，不適用于低成本應(yīng)用場景。部分方案則采用多個(gè)傳感器簡單疊加重復(fù)檢測，未能根據(jù)手勢識(shí)別的特點(diǎn)與需求充分發(fā)揮傳感器的效能。

發(fā)明內(nèi)容

本發(fā)明目的是為了解決現(xiàn)有技術(shù)中的問題，提出了一種TOF傳感器及單目攝像頭融合手勢識(shí)別裝置及手勢識(shí)別方法。本發(fā)明所述方法首先利用目標(biāo)場景的TOF稀疏采樣數(shù)據(jù)分割主體目標(biāo)，隨后利用單目攝像頭所采集圖像提取手部特征，進(jìn)而分析得到手勢命令。本發(fā)明所述方法及裝置可在復(fù)雜環(huán)境下準(zhǔn)確捕獲用戶手勢動(dòng)作，總體成本低、模塊化程度高、體積小、功耗低、擴(kuò)展性好，并可根據(jù)應(yīng)用場景進(jìn)行定制。

本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的，本發(fā)明提出一種TOF傳感器及單目攝像頭融合手勢識(shí)別裝置，所述裝置包括一個(gè)或多個(gè)TOF傳感器、單目攝像頭和計(jì)算平臺(tái)；所述裝置整體集成為一個(gè)模塊；所述計(jì)算平臺(tái)為嵌入式計(jì)算平臺(tái)；所述單目攝像頭配合一個(gè)或多個(gè)TOF傳感器捕獲用戶手勢動(dòng)作，所述用戶手勢動(dòng)作經(jīng)計(jì)算平臺(tái)處理后轉(zhuǎn)化為相應(yīng)的控制指令發(fā)送至受控設(shè)備；所述裝置還包括紅外補(bǔ)光燈，所述裝置根據(jù)當(dāng)前場景光照強(qiáng)度自動(dòng)調(diào)節(jié)紅外補(bǔ)光燈開關(guān)及TOF傳感器參數(shù)。

進(jìn)一步地，所述裝置通過USB、串口、藍(lán)牙、WiFi或ZigBee通信方式連接至受控設(shè)備。

本發(fā)明還提出一種TOF傳感器及單目攝像頭融合手勢識(shí)別裝置的手勢識(shí)別方法，所述方法包括如下步驟：

步驟1、從TOF傳感器和單目攝像頭獲取捕獲數(shù)據(jù)；

步驟2、從TOF傳感器獲取的捕獲數(shù)據(jù)中提取采樣點(diǎn)；

步驟3、根據(jù)步驟2中所得采樣點(diǎn)對單目攝像頭捕獲圖像進(jìn)行區(qū)域分割；

步驟4、由區(qū)域分割結(jié)果進(jìn)行手部邊緣及特征點(diǎn)提取；

步驟5、將手部邊緣與特征點(diǎn)進(jìn)行比對，判斷是否為誤檢，如為誤檢，執(zhí)行步驟8，否則執(zhí)行步驟6；

步驟6、分析手部特征，轉(zhuǎn)換至對應(yīng)的手勢控制指令；

步驟7、輸出手勢控制指令；

步驟8、結(jié)束。

進(jìn)一步地，所述采樣點(diǎn)提取具體為：

步驟21、從TOF傳感器獲取各個(gè)空間點(diǎn)數(shù)據(jù)；

步驟22、根據(jù)預(yù)設(shè)的閾值對各個(gè)空間點(diǎn)進(jìn)行篩選，符合閾值的作為采樣點(diǎn)保留；