[發明專利]基于自然手勢的跨屏幕自適應精度調整方法及裝置

有效

• 申請號: 201710317304.4
• 申請日: 2017-05-04
• 公開（公告）號: CN107291221B
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 厲向東;耿衛東;樓小龍
• 申請（專利權）人: 浙江大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0481
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

1.一種基于自然手勢的跨屏幕自適應精度調整方法，其特征在于，實現所述跨屏幕自適應精度調整方法的裝置包括：

兩個realsense實感攝像頭，用于獲取待測環境的色彩圖像與realsense實感攝像頭發射的紅外圖形的深度圖像，并將該深度圖像和色彩圖像輸出至圖像處理單元；

圖像處理單元，用于對接收的色彩圖像進行分析與識別，得到用戶手部圖像，然后，結合深度圖像分析得到用戶手部的空間位置和移動信息，并根據空間位置、移動信息以及預設的自適應調整精度規則輸出控制信號至控制接口；

控制接口，用于將接收的控制信號輸送到交互機；

交互機，用于解析接收的控制信號，并根據該控制信號控制交互機顯示屏上光標的運動；

所述跨屏幕自適應精度調整方法，包括以下步驟：

(1)利用realsense實感攝像頭C₁與C₂采集待測環境的色彩圖像A₁與A₂、realsense實感攝像頭發射的紅外圖形的深度圖像B₁與B₂；

(2)圖像處理單元對接收的色彩圖像A₁與A₂進行檢測分析，多次驗證得到用戶手部的空間位置、移動信息，具體地，獲取用戶手部的空間位置的過程為：(a)采用openCV計算機圖像庫，利用圖像庫的Haar分類器識別色彩圖像A₁與A₂中用戶手部信息，得到用戶手部圖像H₁與H₂；

(b)驗證用戶手部圖像H₁與H₂是否一致，若一致，執行步驟(c)，若不一致，跳轉執行步驟(a)；

(c)根據用戶手部圖像H₁在色彩圖像A₁中的位置、realsense實感攝像頭C₁與C₂之間的固定距離，利用三角定位法判斷該用戶手部圖像H₁相對于realsense實感攝像頭C₁光軸的偏移角度θ₁與用戶手部在待測環境中的空間位置(X₁、Y₁、Z₁)，其中，X₁、Y₁為用戶手部圖像H₁在色彩圖像A₁中的坐標位置，Z₁為用戶手部與realsense實感攝像頭C₁與C₂所在平面之間的真實距離L₁；

(d)根據用戶手部圖像H₂在色彩圖像A₂中的位置、realsense實感攝像頭C₁與C₂之間的固定距離，利用三角定位法判斷該用戶手部圖像H₂相對于realsense實感攝像頭C₂光軸的偏移角度θ₂與用戶手部在待測環境中的空間位置(X₂、Y₂、Z₂)，其中，X₂、Y₂為用戶手部圖像H₂在色彩圖像A₂中的坐標位置，Z₂為用戶手部與realsense實感攝像頭C₁與C₂所在平面之間的真實距離L₂；

(e)根據用戶手部圖像H₁在色彩圖像A₁中的像素坐標，獲得深度圖像B₁中相同像素坐標處的像素值，該像素值為用戶手部的空間距離D₁；根據用戶手部圖像H₂在色彩圖像A₂中的像素坐標，獲得深度圖像B₂中相同像素坐標處的像素值，該像素值為用戶手部的空間距離D₂；

(f)判斷用戶手部的真實距離L與空間距離D之差是否小于預設閾值，若否，執行步驟(g)，若是，將當前得到的真實距離L與空間距離D的算術平均值作為用戶手部在待測環境中的真實空間位置的Z值，最終確定用戶手部的空間位置(X，Y，Z)；

(g)判斷當前超過預設閾值次數是否超過N，若是，執行步驟(h)，若否，跳轉執行步驟(a)，N為超過預設閾值次數的閾值：

(h)取第n次判斷中真實距離L與空間距離D的算術平均值作為用戶手部在待測環境中的真實空間位置的Z值坐標，最終確定用戶手部的空間位置(X，Y，Z)；

其中，X，Y為用戶手部在色彩圖像A₁與A₂中相應位置的算術平均值；L為L₁與L₂的算術平均值，D為D₁與D₂的算術平均值；

(3)圖像處理單元根據預設的自適應調整精度規則，結合用戶手部的空間位置、移動信息發出控制信號經控制接口傳送至交互機；

(4)交互機解析接收的控制信號，并根據該控制信號動態調整交互機顯示屏上光標的運動。