[發明專利]基于自然手勢的跨屏幕自適應精度調整方法及裝置

有效

• 申請號: 201710317304.4
• 申請日: 2017-05-04
• 公開（公告）號: CN107291221B
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 厲向東;耿衛東;樓小龍
• 申請（專利權）人: 浙江大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0481
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

本發明公開了一種基于自然手勢的跨屏幕自適應精度調整裝置，包括：兩個realsense實感攝像頭，獲取待測環境的色彩圖像與realsense實感攝像頭發射的紅外圖形的深度圖像，并將該深度和色彩圖像輸出至圖像處理模塊；圖像處理單元，對接收的色彩圖像進行分析與識別，得到用戶手部圖像，然后結合深度圖像分析得到用戶手部的空間位置和移動信息，并根據空間位置、移動信息以及預設的自適應調整精度規則輸出控制信號經控制接口至交互機；交互機，用于解析接收的控制信號，并根據該控制信號控制交互機顯示屏上光標的運動。該裝置結合realsense實感技術，可以對自然手勢和用戶人臉進行更加精確的檢測。

技術領域

本發明屬于跨屏幕的人機交互領域，具體涉及一種基于自然手勢的跨屏幕自適應精度調整方法及裝置。

背景技術

隨著互聯網時代的日益成熟，各種智能類電子產品已經成為幾乎每個人必不可少的物品。人們在感受著科技帶給自身便利的同時，也在不斷追求著新的突破。無論是手機、iPad或是電腦，現有的人機交互方式都是通過手接觸顯示屏實現的。但是人們已經不再滿足于傳統的單向互動的操作習慣，開始慢慢的趨向于雙向的人機互動。如何更方便的操控工具，得到更好的用戶體驗，如何使機器更好地理解人的動作和情感，是人們在現階段所要思考的問題。

支持自然用戶界面的技術通過人的處理，尤其是在沒有輸入或者穿戴設備的情況下，對程序進行控制的技術，統稱為自然交互技術，包括硬件和軟件兩個方面。這項技術已經悄然融入在人們的生活中，回望近10年來技術的發展，各種新興設備的出現，科研機構和軟件公司也在不停地進行用戶習慣和交互手勢的研究，蘋果和三星還為此進行了專利訴訟，用戶界面技術也在不停地發展。但是這些成果距離讓我們的操作變得更加“自然”還離的很遠，用戶想要順暢地使用這些設備也必須首先了解設備的使用方法，比如智能手機中的放大縮小操作，首先都必須進行訓練。

縱觀交互技術的發展，人們趨向于更自然更炫酷的交互體驗，廠商也在不遺余力的開發并對這些新技術進行推廣，例如三星Galaxy S4手機中使用的眼球翻頁技術，給用戶在閱讀手機時帶來了極大的便利；微軟開發的Kinect依靠相機捕捉三維空間中玩家的運動，使游戲豐富化、趣味化；LEAP公司開發的Leap Motion只需將設備插入電腦中，即可揮動一只手指就能瀏覽網頁、播放音樂、繪畫以及游戲等，給用戶的生活和工作帶來了極大的便利。這類交互體感設備的推出，使得我們的生活變得有趣起來。

但是，目前這類產品還存在一定的局限性。Kinect是游戲產品，在開始使用時，需要一定的初始化操作。Kinect主要是識別運動軌跡，手停留幾秒識別為“選擇”操作，但還沒有更進一步地將手指關節識別為命令。Leap Motion可以識別手指關節的變化(如抓取)，但像在電腦端那樣執行任務流是不適合的。Leap Motion使用過程中，手要懸浮在空中，使用一段時間之后會比較疲勞，它的識別精度達到了次毫米級，連接之后可以立即使用，但由于手懸浮時難免有細微的抖動，對屏幕在幾個像素范圍對精準操作非常困難。Leap Motion和Kinect運用的是計算機形狀學，MYO則涉及到生物科學，臂帶上的感應器可以捕捉到用戶手臂肌肉運動時產生的生物電變化，從而判斷佩戴者的意圖，再將電腦處理的結果通過藍牙發送至受控設備，但只限于單手手勢，并且需要額外佩戴設備。不過，目前自然手勢交互方式在不同類型的設備上，雖然使用起來具有一定的靈敏度，其精度無法自適應調整或者調整非常麻煩，這使用戶體驗大大降低。目前，Kinect和leap motion還沒有找到合適的方法解決這個問題。不論是使用手機還是電腦，要對其進行操作，通常都需要用戶的實際觸摸。在許多情況下，必須實際觸摸才能控制工具并不方便。因此需要一種方法和裝置來使得用戶在不實際接觸顯示屏的情況下就能精準的操控工具。

發明內容