[發(fā)明專利]一種基于多感知系統(tǒng)的電容式觸覺手柄的控制方法

有效

• 申請?zhí)枺?/td>: 202010432450.3
• 申請日: 2020-05-20
• 公開（公告）號: CN111610865B
• 公開（公告）日: 2022-03-22
• 發(fā)明（設計）人: 劉今越;鄭凱文;田倩倩;李鐵軍;賈曉輝
• 申請（專利權）人: 河北工業(yè)大學
• 主分類號: G06F3/0346
• 分類號: G06F3/0346;G06V10/764;G06V10/44;G06V40/20;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津翰林知識產(chǎn)權代理事務所(普通合伙) 12210
• 代理人: 付長杰

本發(fā)明為一種基于多感知系統(tǒng)的電容式觸覺手柄的控制方法，所述觸覺手柄上包裹有電容陣列柔性壓力傳感器、觸覺手柄沿手柄長度方向一端安裝拉壓傳感器，在觸覺手柄內(nèi)部安裝慣性測量裝置IMU；該方法的具體步驟是：獲取拉壓傳感器采集的位移信號，檢測到沿手柄豎直方向的受力變化，同時獲取慣性測量裝置IMU測量到的手柄來自三個方向的線性加速度和旋轉角速率；獲取人手抓握觸覺手柄時的抓握圖像，對抓握圖像進行處理；利用卷積神經(jīng)網(wǎng)絡模型確定手握意圖，進行多感知信息融合。該方法適用于在接觸式人機協(xié)作中對人手抓握信息的采集，可實時估計人手姿態(tài)，準確判斷操作者意圖。

技術領域

本發(fā)明涉及信息采集與處理、機器學習和絲網(wǎng)印刷等領域，具體是一種基于多感知系統(tǒng)的電容式觸覺手柄的控制方法。

背景技術

近年來，人機協(xié)作成為了機器人領域中最熱門的研究方向之一，而在人機協(xié)作中盡可能全方位感知與提取操作者意圖則是實現(xiàn)人機交互的基礎與前提。人可通過視覺、聽覺、觸/力覺感知周圍環(huán)境信息，目前，在機器聽覺與視覺方面的發(fā)展已經(jīng)較為成熟，但對操作者抓握所依靠的觸/力信息獲取研究的很少，常見的抓握意圖檢測主要通過六維力傳感器，但是價格昂貴，操作不方便，檢測到的相關抓握信息也有所欠缺，傳統(tǒng)的觸覺數(shù)據(jù)手套結構復雜，制作困難，穿戴繁瑣，成本較高。而如何更好地處理識別到的抓握圖像的信息和提高識別效率也是意圖檢測的重點。因此，迫切需要一種制作方便，價格低廉，高精度的裝置來感知人手的抓握姿態(tài)與運動趨勢，并對獲取的抓握信息進行合理處理，使得獲取的信息更加完善，進而充分展現(xiàn)操作者的抓握意圖。

發(fā)明內(nèi)容

針對現(xiàn)有技術的不足，本發(fā)明擬解決的技術問題是，提供一種基于多感知系統(tǒng)的電容式觸覺手柄的控制方法。該方法適用于在接觸式人機協(xié)作中對人手抓握信息的采集，可實時估計人手姿態(tài)，準確判斷操作者意圖。

本發(fā)明解決所述技術問題采用的技術方案是：

一種基于多感知系統(tǒng)的電容式觸覺手柄的控制方法，所述觸覺手柄上包裹有電容陣列柔性壓力傳感器、觸覺手柄沿手柄長度方向一端安裝拉壓傳感器，在觸覺手柄內(nèi)部安裝慣性測量裝置IMU；該方法的具體步驟是：

第一步、信息采集與處理

1-1獲取拉壓傳感器采集的位移信號，檢測到沿手柄豎直方向的受力變化，同時獲取慣性測量裝置IMU測量到的手柄來自三個方向的線性加速度和旋轉角速率；

1-2抓握圖像預處理

獲取人手抓握觸覺手柄時的抓握圖像，對抓握圖像進行處理：采用背景差分方式，對采集到的抓握數(shù)據(jù)進行去噪處理，將去噪后的數(shù)據(jù)進行高通濾波后得到人手緊抓握灰度圖像，再進行二值化操作，獲取預處理后的抓握圖像；

1-3建立映射關系

標準抓握狀態(tài)下獲得的預處理后抓握圖像為標準抓握圖像，將標準抓握圖像人手抓握狀態(tài)進行區(qū)域分割，分為三部分區(qū)域，四指區(qū)域、拇指大魚際區(qū)域、小魚際區(qū)域，明確抓握時三部分區(qū)域的受力分布；

將真實人手分為九個區(qū)域，分別為拇指(1)、大魚際(2)、小魚際(3)、掌心(4)、前掌(5)、食指(6)、中指(7)、無名指(8)、小指(9)；

將標準抓握圖像與真實人手之間構建映射關系，四指區(qū)域對應食指(6)、中指(7)、無名指(8)、小指(9)，拇指大魚際區(qū)域對應拇指(1)、大魚際(2)，小魚際區(qū)域對應小魚際(3)，三部分區(qū)域圍成的部分對應掌心，實現(xiàn)抓握圖像的區(qū)域分割；

第二步、構建卷積神經(jīng)網(wǎng)絡模型

將獲得的標準抓握圖像分成五類，即扭轉、反向扭轉、掌心前推、拇指橫推和四指側拉，將其輸入到卷積神經(jīng)網(wǎng)絡模型CNN中，CNN的輸入層后接一個卷積層，在卷積操作之前先用“0”對輸入圖像進行邊界填充處理，將其進行灰度擴展，使擴展后圖像能經(jīng)過第一個卷積層C1處理之后，圖像又變?yōu)槌跏驾斎雽拥拇笮。沟迷瓐D像每個像素都進行了卷積；之后在隱含層內(nèi)處理后通過輸出層輸出；