[發明專利]一種基于多感知系統的電容式觸覺手柄的控制方法

有效

• 申請號: 202010432450.3
• 申請日: 2020-05-20
• 公開（公告）號: CN111610865B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 劉今越;鄭凱文;田倩倩;李鐵軍;賈曉輝
• 申請（專利權）人: 河北工業大學
• 主分類號: G06F3/0346
• 分類號: G06F3/0346;G06V10/764;G06V10/44;G06V40/20;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰

1.一種基于多感知系統的電容式觸覺手柄的控制方法，所述觸覺手柄上包裹有電容陣列柔性壓力傳感器、觸覺手柄沿手柄長度方向一端安裝拉壓傳感器，在觸覺手柄內部安裝慣性測量裝置IMU；該方法的具體步驟是：

第一步、信息采集與處理

1-1獲取拉壓傳感器采集的位移信號，檢測到沿手柄豎直方向的受力變化，同時獲取慣性測量裝置IMU測量到的手柄來自三個方向的線性加速度和旋轉角速率；

1-2抓握圖像預處理

獲取人手抓握觸覺手柄時的抓握圖像，對抓握圖像進行處理：采用背景差分方式，對采集到的抓握數據進行去噪處理，將去噪后的數據進行高通濾波后得到人手緊抓握灰度圖像，再進行二值化操作，獲取預處理后的抓握圖像；

1-3建立映射關系

標準抓握狀態下獲得的預處理后抓握圖像為標準抓握圖像，將標準抓握圖像人手抓握狀態進行區域分割，分為三部分區域，四指區域、拇指大魚際區域、小魚際區域，明確抓握時三部分區域的受力分布；

將真實人手分為九個區域，分別為拇指(1)、大魚際(2)、小魚際(3)、掌心(4)、前掌(5)、食指(6)、中指(7)、無名指(8)、小指(9)；

將標準抓握圖像與真實人手之間構建映射關系，四指區域對應食指(6)、中指(7)、無名指(8)、小指(9)，拇指大魚際區域對應拇指(1)、大魚際(2)，小魚際區域對應小魚際(3)，三部分區域圍成的部分對應掌心，實現抓握圖像的區域分割；

第二步、構建卷積神經網絡模型

將獲得的標準抓握圖像分成五類，即扭轉、反向扭轉、掌心前推、拇指橫推和四指側拉，將其輸入到卷積神經網絡模型CNN中，CNN的輸入層后接一個卷積層，在卷積操作之前先用“0”對輸入圖像進行邊界填充處理，將其進行灰度擴展，使擴展后圖像能經過第一個卷積層C1處理之后，圖像又變為初始輸入層的大小，使得原圖像每個像素都進行了卷積；之后在隱含層內處理后通過輸出層輸出；

通過離線訓練的方式對五類手握意圖進行模式識別，得到訓練好的卷積神經網絡模型；

第三步、多感知信息融合

實時獲取操作者當前的抓握圖像經過第一步中的預處理及特征點提取后得到標準抓握圖像，將該標準抓握圖像輸入到第二步訓練好的卷積神經網絡模型中，確定手握意圖；根據CNN訓練得到的手握意圖，再研究連續一段時間與之相關的標準抓握圖像三個區域的受力變化情況，明確操作者速度意圖信息；

同時獲取拉壓傳感器采集的位移信號，檢測到沿手柄豎直方向的受力變化，獲取慣性測量裝置IMU測量到的手柄來自三個方向的線性加速度和旋轉角速率，確定手柄的當前姿態、速度和位移，進而確定操作者的意圖。

2.根據權利要求1所述的控制方法，其特征在于，選取人手抓握時手掌部分不遮擋手柄縫隙位置的狀態為標準抓握狀態，當在非標準抓握狀態下時，需要在第一步中對抓握圖像進行特征點提取：

考慮到人手抓握方向和角度的不確定性，所采集到的抓握圖像中手掌各部分區域相對位置分布并不固定，采用Harris角點提取算法來選取并定位任意預處理后的抓握圖像的分割后不同區域特征點，進行像素點的平移，最終實現任意抓握圖像向標準抓握圖像的轉換。

3.根據權利要求2所述的控制方法，其特征在于，特征點提取的具體過程是：采用Harris角點提取算法，針對分割后的標準抓握圖像的不同區域，在提取到的角點中根據強度梯度關系篩選出5個強度最強的角點，經過對不同人手抓握圖像觀察以及抓握狀態評估，確定出特征點梯度相應最強點所在的區域，將該區域的特征點的坐標信息與該操作者標準抓握狀態下的特征點坐標對應變換，進行像素點平移操作；其中確定位于人手模型中大魚際末端靠近手腕的區域的一個角點的區域受力均勻，壓力分布狀態相對穩定，特征點梯度響應最強。

4.根據權利要求1所述的控制方法，其特征在于，所述卷積神經網絡模型訓練時設置批訓練中的樣本批尺寸為100，一個訓練周期為10，學習率為0.6，迭代次數為110。

5.根據權利要求1所述的控制方法，其特征在于，CNN的輸入層為28×28的原始圖像，輸入層后接一個卷積層，在卷積操作之前先用“0”對輸入圖像進行邊界填充處理，將其擴展成32×32的灰度圖像，經過第一個卷積層C1處理之后，圖像變為28×28。