[發明專利]非接觸式交互方法及裝置

在審

• 申請號: 202210818839.0
• 申請日: 2022-07-13
• 公開（公告）號: CN115494938A
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 王夢魁;王文通;賀京杰;劉強
• 申請（專利權）人: 北京石油化工學院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/20;G06V40/10;G06V10/24;G06T7/66;G06T3/60
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 劉曉丹

本發明涉及一種非接觸式交互方法及裝置，所述方法包括獲取人體圖像數據，識別人體圖像數據中的關鍵關節點，確定各個關鍵關節點的三維坐標，根據各個關鍵關節點的三維坐標得到對應的二維坐標；采用預設的第一旋轉矩陣和預設的平移向量對三維坐標進行轉換，將相機坐標系三維坐標轉換為世界坐標系三維坐標；根據關鍵關節點的二維坐標、世界坐標系三維坐標及相機的內參矩陣，計算人體絕對位姿；通過絕對位姿，對待控制設備進行控制以進行交互。本發明獲取人體的圖像數據，對坐標進行坐標系的轉換，采用人體姿態估計的方式通過相機對人體姿態進行準確捕捉，從而實現與設備的非接觸式交互，提升了用戶體驗。

技術領域

本發明屬于觸控技術領域，具體涉及一種非接觸式交互方法及裝置。

背景技術

隨著技術的進步，非接觸式交互方式得到了進一步的發展和運用，目前主流的非接觸式交互方式分為手勢交互與頭動交互，但在實際運用過程中，具有以下缺點：

基于手勢交互，采用體感技術，人們可以直接使用手勢動作與手機、電腦等設備進行互動，無需使用鼠標、鍵盤、觸控屏等任何控制設備，即可以達到自然舒適的用戶體驗。目前比較常用的手勢交互為體感控制器，使用者只需揮動一只手指即可瀏覽網頁、閱讀文章、翻看照片，還有播放音樂。即使用戶不使用任何畫筆或筆刷，指尖也可以繪畫，涂鴉和設計。但使用者做手部的動作時，有時候手掌會把手指擋住，造成體感控制器采集不到被手掌擋住的手指信息，繼而無法識別該手指動作形成識別死區，造成識別缺陷。

基于頭動交互，目前頭動交互方式使用的設備有VR(Virtual Reality，虛擬現實)眼鏡、傳感器3D眼鏡等。VR技術也就是虛擬現實技術，其通過創建和體驗虛擬世界的計算機仿真系統，利用計算機生成一種模擬環境，是一種多源信息融合的，交互式的三維動態視景和實體行為的系統仿真使用戶沉浸到該環境中。如使用VR眼鏡技術，通過用戶的頭動，改變眼鏡中場景的視角，這種方式由于VR眼鏡造價昂貴，且一般產品比較笨重，用戶體驗不好。還有一種基于傳感器3D眼鏡控制場景的虛擬現實系統，其通過使用攝像頭、傳感器、3D眼鏡和手寫筆，用戶可以抓取虛擬物體，旋轉和移動3D空間中的虛擬物體，但是基于頭動的交互方式，需要使用帶有傳感器的特定3D眼鏡，不具有普適性，且造價較貴。

綜上所述，無論是手勢交互還是頭動式交互，自身都存在缺陷，這在一定程度上影響了使用者的體驗。

發明內容

有鑒于此，本發明的目的在于克服現有技術的不足，提供一種非接觸式交互方法及裝置，以解決現有技術中非接觸式交互存在缺陷，影響使用者的體驗的問題。

為實現以上目的，本發明采用如下技術方案：一種非接觸式交互方法，包括：

獲取人體圖像數據，識別所述人體圖像數據中的關鍵關節點，確定各個關鍵關節點的三維坐標，根據各個關鍵關節點的三維坐標得到對應的二維坐標；

采用預設的第一旋轉矩陣和預設的平移向量對所述三維坐標進行轉換，將相機坐標系三維坐標轉換為世界坐標系三維坐標；

根據關鍵關節點的二維坐標、世界坐標系三維坐標及相機的內參矩陣，計算人體絕對位姿；

通過所述絕對位姿，對待控制設備進行控制以進行交互。

進一步的，采用深度相機對人體進行拍攝，得到人體圖像數據；所述深度相機設置在智能終端上方。

進一步的，所述根據各個關鍵關節點的三維坐標采用如下方式得到對應的二維坐標，

其中，設P為關鍵關節點，(x，y)為P的二維坐標，(X，Y，Z)為P的三維坐標，f_x、f_y分別為x、y方向的焦距，(c_x，c_y)為光中心，為相機的內參矩陣，s是一個比例因子。