[發(fā)明專(zhuān)利]一種基于雙目的手勢(shì)識(shí)別智能無(wú)人機(jī)遠(yuǎn)程操控方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711326715.6
• 申請(qǐng)日: 2017-12-13
• 公開(kāi)（公告）號(hào): CN108052901B
• 公開(kāi)（公告）日: 2021-05-25
• 發(fā)明（設(shè)計(jì)）人: 華春生;陳博;何玉慶;代波;韓建達(dá)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院沈陽(yáng)自動(dòng)化研究所
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/32;G06K9/46;G06T5/20;G06T5/30;G06T7/11;G06T7/246;G06F3/01
• 代理公司: 沈陽(yáng)科苑專(zhuān)利商標(biāo)代理有限公司 21002
• 代理人: 許宗富

本發(fā)明涉及一種基于雙目的手勢(shì)識(shí)別智能無(wú)人機(jī)遠(yuǎn)程操控方法，包括以下步驟：操作前采集不同手勢(shì)的多幀圖像，根據(jù)HSV信息提取手部區(qū)域和手部特征信息，計(jì)算不同手勢(shì)的手部特征信息的均值和方差；操作中利用雙目相機(jī)采集當(dāng)前手勢(shì)圖像，采用多特征分層濾波算法處理并識(shí)別當(dāng)前手勢(shì)圖像；采用HSV信息、高斯濾波、連續(xù)自適應(yīng)均值漂移Camshift算法，對(duì)當(dāng)前手勢(shì)圖像的深度圖像、彩色圖像進(jìn)行處理，獲取最終跟蹤ROI區(qū)域的三維坐標(biāo)；實(shí)時(shí)將手勢(shì)實(shí)際彎折曲線(xiàn)規(guī)劃成無(wú)人機(jī)實(shí)際運(yùn)動(dòng)軌跡。本發(fā)明通過(guò)將手勢(shì)識(shí)別的結(jié)果轉(zhuǎn)化為無(wú)人機(jī)控制信號(hào)發(fā)送給無(wú)人機(jī)實(shí)現(xiàn)飛行軌跡的在線(xiàn)控制，人機(jī)協(xié)同作業(yè)實(shí)時(shí)性、準(zhǔn)確性和可靠性高。

技術(shù)領(lǐng)域

本發(fā)明屬于模式識(shí)別與自動(dòng)化技術(shù)領(lǐng)域，具體涉及一種基于雙目的手勢(shì)識(shí)別智能無(wú)人機(jī)遠(yuǎn)程操控方法。

背景技術(shù)

隨著無(wú)人機(jī)應(yīng)用領(lǐng)域的拓展，無(wú)人機(jī)逐漸融入人類(lèi)生產(chǎn)、生活，與人類(lèi)關(guān)系日益緊密，因此迫切需要無(wú)人機(jī)與人緊密協(xié)調(diào)。同無(wú)人機(jī)之間的良好的人機(jī)交互是“人機(jī)共融”和“人機(jī)協(xié)作”的重要基礎(chǔ)。手勢(shì)是人與人之間非語(yǔ)言交流的最重要方式，若把手勢(shì)交互運(yùn)用到無(wú)人機(jī)飛行控制上，可使無(wú)人機(jī)與人更方便自然地交互。二者緊密協(xié)調(diào)，有利于人機(jī)共融的實(shí)現(xiàn)。手勢(shì)識(shí)別是人與機(jī)器人手勢(shì)交互的重要組成部分，手勢(shì)識(shí)別的準(zhǔn)確性和快速性直接影響人與機(jī)器人交互的準(zhǔn)確性、流暢性和自然性。按手勢(shì)識(shí)別使用的設(shè)備是否與身體接觸，手勢(shì)識(shí)別技術(shù)可分為兩類(lèi)：接觸式手勢(shì)識(shí)別和基于視覺(jué)的手勢(shì)識(shí)別。接觸式手勢(shì)識(shí)別具有識(shí)別準(zhǔn)確、精度較高和穩(wěn)定性好的優(yōu)點(diǎn)，但使用的設(shè)備復(fù)雜、價(jià)格高，且用戶(hù)需熟練使用穿戴的特定設(shè)備后，才能進(jìn)行手勢(shì)識(shí)別，不利于自然交互。基于視覺(jué)的手勢(shì)交互，用戶(hù)無(wú)需穿戴設(shè)備，具有交互方便、表達(dá)豐富和交互自然的優(yōu)點(diǎn)，符合人機(jī)自然交互的大趨勢(shì)，適用范圍廣。當(dāng)前無(wú)人機(jī)控制的主要方式還是基于遙控器的控制，或者是在短距離內(nèi)識(shí)別和跟蹤簡(jiǎn)單的特定手勢(shì)，但長(zhǎng)程仍然要依靠遙控器，這種基于遙控器的控制方式對(duì)用戶(hù)而言并非是一種符合人類(lèi)本能習(xí)慣的交互方式，新用戶(hù)需要不斷地練習(xí)才能掌握控制技巧，但如果發(fā)明一種符合人類(lèi)自然交互習(xí)慣的、通過(guò)手勢(shì)對(duì)無(wú)人機(jī)進(jìn)行操控的技術(shù)，則這將是邁向更自然的人機(jī)交互的一大步。并且，這種可靠性高、實(shí)時(shí)性好的無(wú)人機(jī)手勢(shì)識(shí)別與跟蹤技術(shù)還可以很方便地?cái)U(kuò)展應(yīng)用到更多的人機(jī)協(xié)作領(lǐng)域中，應(yīng)用前景廣泛。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的上述不足，本發(fā)明所采用的技術(shù)方案是：一種基于雙目的手勢(shì)識(shí)別智能無(wú)人機(jī)遠(yuǎn)程操控方法，包括以下步驟：

步驟1：操作前，采集不同手勢(shì)的多幀圖像，對(duì)同一個(gè)手勢(shì)的多幀圖像根據(jù)HSV信息提取手部區(qū)域和手部特征信息，計(jì)算不同手勢(shì)的手部特征信息的均值和方差并存儲(chǔ)在個(gè)人特征庫(kù)；

步驟2：操作中，利用雙目相機(jī)采集當(dāng)前手勢(shì)圖像，采用多特征分層濾波算法與個(gè)人特征庫(kù)中的手部特征信息相比對(duì)識(shí)別當(dāng)前手勢(shì)圖像；

步驟3：采用HSV信息、高斯濾波、連續(xù)自適應(yīng)均值漂移Camshift算法，對(duì)雙目相機(jī)采集當(dāng)前手勢(shì)圖像的深度圖像、彩色圖像進(jìn)行處理，獲取最終跟蹤ROI區(qū)域的三維坐標(biāo)；

步驟4：根據(jù)彎折的方向和曲率，實(shí)時(shí)將手勢(shì)實(shí)際彎折曲線(xiàn)規(guī)劃成用以實(shí)際指導(dǎo)無(wú)人機(jī)飛行的軌跡曲線(xiàn)。

所述步驟1中對(duì)同一個(gè)手勢(shì)的多幀圖像根據(jù)HSV信息提取手部區(qū)域和手部特征信息包括：對(duì)同一個(gè)手勢(shì)的多幀圖像依次進(jìn)行以下處理；

步驟1.1：分別獲取多幀圖像的HSV信息，

步驟1.2：計(jì)算HSV信息的均值和方差，

步驟1.3：根據(jù)HSV信息的均值和方差獲取ROI區(qū)域的HSV空間，并將ROI區(qū)域的HSV空間存儲(chǔ)在個(gè)人特征庫(kù)；

步驟1.4：根據(jù)ROI區(qū)域的HSV空間提取每幀圖像的手部區(qū)域；

步驟1.5：獲取每幀圖像的手部區(qū)域的二值圖像，

步驟1.6：分別計(jì)算每幀圖像的二值圖像的手部特征信息、并計(jì)算手部特征信息的均值和方差；