[發明專利]基于手勢控制的智能輪椅系統及控制方法

有效

• 申請號: 201710509586.8
• 申請日: 2017-06-28
• 公開（公告）號: CN107390573B
• 公開（公告）日: 2020-05-29
• 發明（設計）人: 王萍;茹峰;黃鶴;張倩
• 申請（專利權）人: 長安大學
• 主分類號: G05B19/042
• 分類號: G05B19/042;G06F3/01;A61G5/10;A61G5/00
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 徐文權

1.基于手勢控制的智能輪椅的控制方法，其特征在于，包括如下步驟：

(1)先采集用于控制智能輪椅動作的手勢圖像；

(2)檢測并分析并提取出手勢圖像中的手勢信息；

(3)再識別手勢信息；

(4)再按照識別出的手勢信息對智能輪椅進行控制；

上述步驟(3)中，通過多列深度3D卷積神經網絡識別手勢信息，具體包括如下步驟：

首先采用3D卷積核對連續幀圖像進行卷積操作；

再提取出目標的時間和空間特征捕捉運動信息；

所述采用3D卷積核對連續幀圖像進行卷積操作時，先訓練多組3D CNNs結構組成Multi-column 3D CNNs，該結構通過對多組3D CNNs的輸出結果進行權衡，權重最大的類別則判為最終的輸出結果，每組Multi-column 3D CNNs通過多個不同結構3D CNNs構成，每組3D CNNs的3D卷積核和特征圖數目均不相同；

采集手勢圖像時，攝像頭視頻采集模塊拍攝范圍包括坐在輪椅的操作者的胸前區域，以肩部以下上半身作為識別區域，人體上半身作為背景，在沒有做手勢之前之后做出對比，去除背景影響，并且方便殘疾人做出手勢；

所述步驟(1)中，采集手勢圖像時，手勢距離用于采集手勢圖像的攝像頭30cm到100cm；

按照識別出的手勢信息對智能輪椅進行控制時，相鄰兩幀手勢中心點坐標之差為20-30；

網絡的輸入由連續5幀圖像組成。

2.根據權利要求1所述的基于手勢控制的智能輪椅的控制方法，其特征在于，所述步驟(2)中，通過基于YCbCr色彩空間和幾何特征的方法來檢測和提取手勢圖像中的手勢信息。

3.根據權利要求2所述的基于手勢控制的智能輪椅的控制方法，其特征在于，所述基于YCbCr色彩空間和幾何特征的方法來檢測和提取手勢圖像中的手勢信息的具體過程如下：

先通過維納濾波去除圖像中含有的較多的高斯噪聲；

再將去噪后的圖像轉換到YCbCr顏色空間中提取膚色部分；

再利用最大類間方差法對膚色區域進行二值化；

再依次通過濾波、形態學膨脹和腐蝕操作填平手勢二值圖像內部細小的空洞并平滑手勢圖像邊界；

最后通過判斷手勢圖像的長寬比進一步排除非手勢區域并得到手勢信息。