[發明專利]一種TOF傳感器及單目攝像頭融合手勢識別裝置及手勢識別方法

在審

• 申請號: 202010185981.7
• 申請日: 2020-03-17
• 公開（公告）號: CN111381676A
• 公開（公告）日: 2020-07-07
• 發明（設計）人: 杜國銘;孫晅;馮大志
• 申請（專利權）人: 哈爾濱拓博科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種TOF傳感器及單目攝像頭融合手勢識別裝置，其特征在于：所述裝置包括一個或多個TOF傳感器、單目攝像頭和計算平臺；所述裝置整體集成為一個模塊；所述計算平臺為嵌入式計算平臺；所述單目攝像頭配合一個或多個TOF傳感器捕獲用戶手勢動作，所述用戶手勢動作經計算平臺處理后轉化為相應的控制指令發送至受控設備；所述裝置還包括紅外補光燈，所述裝置根據當前場景光照強度自動調節紅外補光燈開關及TOF傳感器參數。

2.根據權利要求1所述的裝置，其特征在于：所述裝置通過USB、串口、藍牙、WiFi或ZigBee通信方式連接至受控設備。

3.一種如權利要求1所述的TOF傳感器及單目攝像頭融合手勢識別裝置的手勢識別方法，其特征在于：所述方法包括如下步驟：

步驟1、從TOF傳感器和單目攝像頭獲取捕獲數據；

步驟2、從TOF傳感器獲取的捕獲數據中提取采樣點；

步驟3、根據步驟2中所得采樣點對單目攝像頭捕獲圖像進行區域分割；

步驟4、由區域分割結果進行手部邊緣及特征點提取；

步驟5、將手部邊緣與特征點進行比對，判斷是否為誤檢，如為誤檢，執行步驟8，否則執行步驟6；

步驟6、分析手部特征，轉換至對應的手勢控制指令；

步驟7、輸出手勢控制指令；

步驟8、結束。

4.根據權利要求3所述的方法，其特征在于：所述采樣點提取具體為：

步驟21、從TOF傳感器獲取各個空間點數據；

步驟22、根據預設的閾值對各個空間點進行篩選，符合閾值的作為采樣點保留；

步驟23、根據TOF傳感器與單目攝像頭間的空間關系，將采樣點空間坐標變換至單目圖像坐標；

步驟24、輸出變換后的采樣點坐標。

5.根據權利要求4所述的方法，其特征在于：所述區域分割具體為：

步驟31、讀取變換后的采樣點坐標及單目圖像；

步驟32、在單目圖像中尋找各個采樣點的鄰域，從而將單目圖像分為多個區域；

步驟33、輸出分割結果。

6.根據權利要求5所述的方法，其特征在于：所述手部邊緣提取具體為：

步驟411、讀取區域分割結果；

步驟412、由區域分割結果得到各個區域間的分割線，在分割線中選取包含所有采樣點的外包絡作為手部邊緣線；

步驟413、輸出手部邊緣。

7.根據權利要求6所述的方法，其特征在于：所述特征點提取具體為：

步驟421、讀取變換后的采樣點坐標及單目圖像；

步驟422、選擇包絡所有采樣點的最小矩形作為手部感興趣區域ROI；

步驟423、將ROI區域內的單目圖像與預設模型匹配，并從所匹配的模型中得到手部各個特征點；

步驟424、輸出特征點。

8.根據權利要求7所述的方法，其特征在于：所述誤檢判斷具體為：

步驟51、讀取手部邊緣和特征點；

步驟52、將手部邊緣重新采樣，使邊緣點數目等同于特征點數目，隨后以最接近圖像上邊緣的點為起點，按逆時針方向計算各個邊緣點與特征點的坐標差，所有坐標差的平均值作為手部邊緣與特征點之間的相似度。

9.根據權利要求8所述的方法，其特征在于：所述手部特征分析具體為：

步驟61、讀取手部特征點及前序手勢控制指令；

步驟62、計算手部特征點位置以及所有特征點組成幾何形狀、指向和特征點像素值，并與預設值進行匹配，得到單幀手勢控制指令；將單幀手勢控制指令與前序手勢控制指令結合，再次與時序相關的預設值匹配，得到總體手勢控制指令。