[發明專利]一種基于雙目的手勢識別智能無人機遠程操控方法

有效

• 申請號: 201711326715.6
• 申請日: 2017-12-13
• 公開（公告）號: CN108052901B
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 華春生;陳博;何玉慶;代波;韓建達
• 申請（專利權）人: 中國科學院沈陽自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46;G06T5/20;G06T5/30;G06T7/11;G06T7/246;G06F3/01
• 代理公司: 沈陽科苑專利商標代理有限公司 21002
• 代理人: 許宗富

1.一種基于雙目的手勢識別智能無人機遠程操控方法，其特征在于，包括以下步驟：

步驟1：操作前，采集不同手勢的多幀圖像，對同一個手勢的多幀圖像根據HSV信息提取手部區域和手部特征信息，分別計算不同手勢的手部特征信息的均值和方差并存儲在個人特征庫；

步驟2：操作中，利用雙目相機采集當前手勢圖像，采用多特征分層濾波算法與個人特征庫中的手部特征信息相比對識別當前手勢圖像；

步驟3：采用HSV信息、高斯濾波、連續自適應均值漂移Camshift算法，對雙目相機采集當前手勢圖像的深度圖像、彩色圖像進行處理，獲取最終跟蹤ROI區域的三維坐標；

步驟4：根據彎折的方向和曲率，實時將手勢實際彎折曲線規劃成用以實際指導無人機飛行的軌跡曲線，包括：

定義Q_t點和Q′_t點分別為同一時刻手勢實際彎折曲線與用以實際指導無人機飛行的軌跡曲線上的點；Q_t(x_t,y_t,z_t)點坐標為步驟3的最終跟蹤ROI區域的三維坐標，Q_t′(x_t′,y_t′,z_t′)點的坐標按照如下步驟計算：

步驟4.1：在剛開始的t＝0與t＝1時刻，Q_t點和Q′_t點是重合的；

步驟4.2：t＝2時刻的預測點Q′_t＝2三維坐標是依據t＝0到t＝1時間軌跡線段的方向與角度延伸得到；將Q′_t＝2三維坐標代入磁性軌跡約束算法的公式(11)、(12)、(13)求得：預測點Q′_t＝2到實際點Q_t＝2的單位向量模d(2)、曲率K(2)＝μd(2)；

步驟4.3：從t＝3時刻開始，無人機(t-1)到t時間段內實際引導軌跡的曲率為根據(t-1)時刻通過公式(11)計算出的曲率K(t-1)，彎曲方向為朝向的方向；

以Q_t為圓心，與從t-1時刻開始延伸的預測軌跡曲線弧的最大相切圓的切點，即為t時刻預測軌跡Q′_t點，從而得出Q′_t的實際三維坐標；按照上述步驟依次運算，得到用以實際指導無人機飛行的軌跡曲線；

其中，所述磁性軌跡約束算法為按照如下公式計算d(t)、和K(t)：

其中，為Qt'朝向Qt的單位向量，用以表示在t時刻三維空間中的無人機實際運動軌跡向手勢實際彎折曲線的方向，d(t)為Q_t點和Q′_t點的模，K(t)為t時刻彎折的曲率，μ是根據不同的無人機安全飛行姿態區間而確定的固定參數，K_max是無人機機動飛行軌跡的最大安全弧度。

2.按照權利要求1所述的一種基于雙目的手勢識別智能無人機遠程操控方法，其特征在于，所述步驟1中對同一個手勢的多幀圖像根據HSV信息提取手部區域和手部特征信息包括：對同一個手勢的多幀圖像依次進行以下處理；

步驟1.1：分別獲取多幀圖像的HSV信息，

步驟1.2：計算HSV信息的均值和方差，

步驟1.3：根據HSV信息的均值和方差獲取ROI區域的HSV空間，并將ROI區域的HSV空間存儲在個人特征庫；

步驟1.4：根據ROI區域的HSV空間提取每幀圖像的手部區域；

步驟1.5：獲取每幀圖像的手部區域的二值圖像，

步驟1.6：分別計算每幀圖像的二值圖像的手部特征信息、并計算手部特征信息的均值和方差；

步驟1.7：將手部特征信息的均值和方差存儲在個人特征庫。

3.按照權利要求1或2所述的一種基于雙目的手勢識別智能無人機遠程操控方法，其特征在于，所述手部特征信息為手部形狀、手部旋轉角度、手部凸包性。