[發(fā)明專利]基于手勢(shì)控制的智能輪椅系統(tǒng)及控制方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710509586.8
• 申請(qǐng)日: 2017-06-28
• 公開(kāi)（公告）號(hào): CN107390573B
• 公開(kāi)（公告）日: 2020-05-29
• 發(fā)明（設(shè)計(jì)）人: 王萍;茹峰;黃鶴;張倩
• 申請(qǐng)（專利權(quán)）人: 長(zhǎng)安大學(xué)
• 主分類號(hào): G05B19/042
• 分類號(hào): G05B19/042;G06F3/01;A61G5/10;A61G5/00
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 徐文權(quán)

1.基于手勢(shì)控制的智能輪椅的控制方法，其特征在于，包括如下步驟：

(1)先采集用于控制智能輪椅動(dòng)作的手勢(shì)圖像；

(2)檢測(cè)并分析并提取出手勢(shì)圖像中的手勢(shì)信息；

(3)再識(shí)別手勢(shì)信息；

(4)再按照識(shí)別出的手勢(shì)信息對(duì)智能輪椅進(jìn)行控制；

上述步驟(3)中，通過(guò)多列深度3D卷積神經(jīng)網(wǎng)絡(luò)識(shí)別手勢(shì)信息，具體包括如下步驟：

首先采用3D卷積核對(duì)連續(xù)幀圖像進(jìn)行卷積操作；

再提取出目標(biāo)的時(shí)間和空間特征捕捉運(yùn)動(dòng)信息；

所述采用3D卷積核對(duì)連續(xù)幀圖像進(jìn)行卷積操作時(shí)，先訓(xùn)練多組3D CNNs結(jié)構(gòu)組成Multi-column 3D CNNs，該結(jié)構(gòu)通過(guò)對(duì)多組3D CNNs的輸出結(jié)果進(jìn)行權(quán)衡，權(quán)重最大的類別則判為最終的輸出結(jié)果，每組Multi-column 3D CNNs通過(guò)多個(gè)不同結(jié)構(gòu)3D CNNs構(gòu)成，每組3D CNNs的3D卷積核和特征圖數(shù)目均不相同；

采集手勢(shì)圖像時(shí)，攝像頭視頻采集模塊拍攝范圍包括坐在輪椅的操作者的胸前區(qū)域，以肩部以下上半身作為識(shí)別區(qū)域，人體上半身作為背景，在沒(méi)有做手勢(shì)之前之后做出對(duì)比，去除背景影響，并且方便殘疾人做出手勢(shì)；

所述步驟(1)中，采集手勢(shì)圖像時(shí)，手勢(shì)距離用于采集手勢(shì)圖像的攝像頭30cm到100cm；

按照識(shí)別出的手勢(shì)信息對(duì)智能輪椅進(jìn)行控制時(shí)，相鄰兩幀手勢(shì)中心點(diǎn)坐標(biāo)之差為20-30；

網(wǎng)絡(luò)的輸入由連續(xù)5幀圖像組成。

2.根據(jù)權(quán)利要求1所述的基于手勢(shì)控制的智能輪椅的控制方法，其特征在于，所述步驟(2)中，通過(guò)基于YCbCr色彩空間和幾何特征的方法來(lái)檢測(cè)和提取手勢(shì)圖像中的手勢(shì)信息。

3.根據(jù)權(quán)利要求2所述的基于手勢(shì)控制的智能輪椅的控制方法，其特征在于，所述基于YCbCr色彩空間和幾何特征的方法來(lái)檢測(cè)和提取手勢(shì)圖像中的手勢(shì)信息的具體過(guò)程如下：

先通過(guò)維納濾波去除圖像中含有的較多的高斯噪聲；

再將去噪后的圖像轉(zhuǎn)換到Y(jié)CbCr顏色空間中提取膚色部分；

再利用最大類間方差法對(duì)膚色區(qū)域進(jìn)行二值化；

再依次通過(guò)濾波、形態(tài)學(xué)膨脹和腐蝕操作填平手勢(shì)二值圖像內(nèi)部細(xì)小的空洞并平滑手勢(shì)圖像邊界；

最后通過(guò)判斷手勢(shì)圖像的長(zhǎng)寬比進(jìn)一步排除非手勢(shì)區(qū)域并得到手勢(shì)信息。