[發(fā)明專利]一種基于手勢識別的人機(jī)交互方法

有效

• 申請?zhí)枺?/td>: 201810030997.3
• 申請日: 2018-01-12
• 公開（公告）號: CN110032270B
• 公開（公告）日: 2020-05-08
• 發(fā)明（設(shè)計）人: 華春生;陳博;顏培輪
• 申請（專利權(quán)）人: 中國科學(xué)院沈陽自動化研究所
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 沈陽科苑專利商標(biāo)代理有限公司 21002
• 代理人: 李巨智

本發(fā)明涉及一種基于手勢識別的人機(jī)交互方法，人體CT對人體進(jìn)行掃描，生成具有三維點(diǎn)云數(shù)據(jù)的三維人體模型；根據(jù)手部HSV信息和手部特征信息建立個人特征庫；操作中，采集當(dāng)前手勢圖像，采用多特征分層濾波算法識別當(dāng)前手勢信息，并將手勢信息進(jìn)行編碼，輸出編碼信號控制三維人體模型動作。本發(fā)明局部建模可以更有針對性，同時可以減少硬件資源的耗費(fèi)，提升系統(tǒng)的運(yùn)行效率；采用了實(shí)時特征預(yù)提取與訓(xùn)練技術(shù)，在保證實(shí)時性的同時使手勢正確識別率達(dá)到了99％以上，滿足了手勢控制手術(shù)輔助系統(tǒng)實(shí)時性與安全性的需求，同時還使該系統(tǒng)具備了個性化手勢定制功能。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)視覺和人工智能領(lǐng)域，具體地說是一種基于手勢識別的人機(jī)交互方法。

背景技術(shù)

手勢是人與人之間非語言交流的最重要方式，若把手勢交互運(yùn)用到手術(shù)輔助導(dǎo)航系統(tǒng)控制上，可使系統(tǒng)與人更方便自然地交互。二者緊密協(xié)調(diào)，有利于人機(jī)共融的實(shí)現(xiàn)。手勢識別是人與機(jī)器人手勢交互的重要組成部分，手勢識別的準(zhǔn)確性和快速性直接影響人與機(jī)器人交互的準(zhǔn)確性、流暢性和自然性。基于視覺的手勢交互，用戶無需穿戴設(shè)備，具有交互方便、表達(dá)豐富和交互自然的優(yōu)點(diǎn)，符合人機(jī)自然交互的大趨勢，適用范圍廣。

然而目前的手術(shù)輔助系統(tǒng)在交互方式還是傳統(tǒng)的觸摸和鍵盤鼠標(biāo)等接觸式人機(jī)交互方式。這種基于接觸式設(shè)備的控制方式對醫(yī)生而言并非是一種符合人類本能習(xí)慣的交互方式，并且接觸式的交互不能保證醫(yī)生的無菌操作；但如果發(fā)明一種符合人類自然交互習(xí)慣的、通過手勢對無人機(jī)進(jìn)行操控的技術(shù)，則這將是邁向更自然的人機(jī)交互的一大步。并且，這種可靠性高、實(shí)時性好的手勢識別在人機(jī)協(xié)作領(lǐng)域中，應(yīng)用前景廣泛。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的不足，本發(fā)明提供一種基于手勢識別的人機(jī)交互方法。

本發(fā)明為實(shí)現(xiàn)上述目的所采用的技術(shù)方案是：

一種基于手勢識別的人機(jī)交互方法，包括以下步驟：

步驟1：人體CT對人體進(jìn)行掃描，生成具有三維點(diǎn)云數(shù)據(jù)的三維人體模型；

步驟2：操作前，根據(jù)手部HSV信息和手部特征信息建立個人特征庫；

步驟3：操作中，采集當(dāng)前手勢圖像，采用多特征分層濾波算法識別當(dāng)前手勢信息，并將手勢信息進(jìn)行編碼，輸出編碼信號控制三維人體模型動作。

根據(jù)手部HSV信息建立個人特征庫包括以下過程：

步驟1：分別獲取多幀圖像的HSV信息；

步驟2：計算HSV信息的均值和方差；

步驟3：根據(jù)HSV信息的均值和方差獲取ROI區(qū)域的HSV空間，并將ROI區(qū)域的HSV空間存儲在個人特征庫。

根據(jù)手部特征信息建立個人特征庫包括以下過程：

步驟1：根據(jù)ROI區(qū)域的HSV空間提取每幀圖像的手部區(qū)域；

步驟2：對每幀圖像的手部區(qū)域進(jìn)行二值化，獲取每幀圖像的手部區(qū)域的二值圖像；

步驟3：提取二值圖像的手部特征信息；

步驟4：計算手部特征信息的均值和方差，并將手部特征信息的均值和方差存儲在個人特征庫。

所述提取二值圖像的手部特征信息包括以下過程：

步驟1：對手部區(qū)域的二值圖像進(jìn)行meanshift聚類，得到聚類中心區(qū)域；

步驟2：對聚類中心區(qū)域利用PCA主成分分析法，得到手掌的橫寬比θ₁，以及偏轉(zhuǎn)角度θ₂；