[發明專利]一種新的非接觸式人機交互方法及系統

有效

• 申請號: 202011395956.8
• 申請日: 2020-12-03
• 公開（公告）號: CN112363629B
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 袁譽樂;于奇;郭學胤;梁立新;相韶華
• 申請（專利權）人: 深圳技術大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06N3/04
• 代理公司: 深圳壹舟知識產權代理事務所(普通合伙) 44331
• 代理人: 寇闖

本發明適用于人機交互的技術領域，提供了一種新的非接觸式人機交互方法及系統，所述方法包括步驟：S100、在深度攝像機的二維平面圖像中，自動檢測顯示屏幕的三個頂點A、B、C和目標點F；S200、結合深度攝像機內參，將頂點A、B、C和目標點F的平面像素坐標轉換為深度攝像機坐標系下的三維坐標；S300、計算目標點F在顯示屏幕上的投影點F’在深度攝像機坐標系下的三維坐標；S400、計算投影點F’在顯示屏幕上的平面像素坐標；S500、識別目標點F的動作，調用相關系統鼠標接口進行鼠標事件觸發。本發明解決了無鼠標環境下利用手指指尖等可檢測的目標物體對屏幕內容進行操控的問題，無需任何標定，具有計算量小、硬件設備簡單的優點。

技術領域

本發明屬于人機交互的技術領域，具體涉及一種新的非接觸式人機交互方法及系統。

背景技術

目前，非接觸式人機交互技術在互動游戲、互動博物館、互動旅游館以及VR/AR(虛擬現實/增強現實)等領域都有著廣泛的應用，使用者在電腦顯示屏、智能電視等顯示區域前用各種非接觸式的手勢就可以與電子產品進行交互操作，比如可以用手勢調節音量，這種無需鼠標操作的人機交互技術具有極大的市場價值及經濟價值。

在公開號CN102841679A，發明名稱為一種非接觸式人機互動方法與裝置的專利申請文件中，公開了一種非接觸式人機互動的方法與裝置，主要是利用了攝像機標定原理，其中需要獲取攝像機的位置信息和方向信息計算標定結果，還需要引入重力傳感模塊和滑動測阻模塊，硬件設計較為復雜。

而隨著深度攝像機的出現和計算機視覺領域中深度學習技術的發展，基于深度攝像機的人機交互系統也越來越多。深度攝像機與普通攝像機的區別在于，除了能夠獲取平面圖像信息，還可以獲得拍攝對象的深度信息，也就是三維的位置和尺寸信息，使得整個計算系統能夠獲得環境和對象的三維立體數據。深度攝像機具備三維感測與識別的能力，經過進一步深化處理，還可以完成三維建模等應用。

發明內容

本發明實施例的目的在于提供一種新的非接觸式人機交互方法，旨在解決現有技術中的利用攝像機標定原理進行非接觸式人機交互存在的計算過程復雜并且硬件復雜的問題。

本發明實施例是這樣實現的，提供一種新的非接觸式人機交互方法，包括如下步驟：

S100、在深度攝像機的二維平面圖像中，利用深度學習系統自動檢測顯示屏幕的三個頂點A、B、C和目標點F，得到各點的平面像素坐標；

S200、結合深度攝像機內參，將頂點A、B、C和目標點F的平面像素坐標轉換為深度攝像機坐標系下的三維坐標；

S300、計算目標點F在顯示屏幕上的投影點F’在深度攝像機坐標系下的三維坐標；

S400、計算投影點F’在顯示屏幕上的平面像素坐標；

S500、識別目標點F的動作，調用相關系統鼠標接口進行鼠標事件觸發。

進一步地，所述步驟S100包括如下子步驟：

S110、利用基于深度學習的目標檢測算法對顯示屏幕的頂點A、B、C進行自動檢測，得到各點的平面像素坐標；

S120、建立一個兩階段的目標檢測深度神經網絡結構，對目標點F進行自動檢測，包括：

S121、建立一個目標物體檢測深度神經網絡，用于檢測二維平面圖像中的目標物體，對檢測到的目標物體區域進行擴展，并根據擴展后的區域定位目標物體；

S122、建立一個目標點檢測深度神經網絡，用于檢測目標物體的目標點，并定位出目標點，得到目標點F的平面像素坐標。

進一步地，所述步驟S120還包括：建立一個雙通道注意力機制的神經網絡，用于提高檢測目標點的定位精度。

進一步地，所述步驟S300包括：