[發明專利]非接觸式交互方法及裝置

在審

• 申請號: 202210818839.0
• 申請日: 2022-07-13
• 公開（公告）號: CN115494938A
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 王夢魁;王文通;賀京杰;劉強
• 申請（專利權）人: 北京石油化工學院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06V40/20;G06V40/10;G06V10/24;G06T7/66;G06T3/60
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 劉曉丹

1.一種非接觸式交互方法，其特征在于，包括：

獲取人體圖像數據，識別所述人體圖像數據中的關鍵關節點，確定各個關鍵關節點的三維坐標，根據各個關鍵關節點的三維坐標得到對應的二維坐標；

采用預設的第一旋轉矩陣和預設的平移向量對所述三維坐標進行轉換，將相機坐標系三維坐標轉換為世界坐標系三維坐標；

根據關鍵關節點的二維坐標、世界坐標系三維坐標及相機的內參矩陣，計算人體絕對位姿；

通過所述絕對位姿，對待控制設備進行控制以進行交互。

2.根據權利要求1所述的方法，其特征在于，

采用深度相機對人體進行拍攝，得到人體圖像數據；所述深度相機設置在智能終端上方。

3.根據權利要求1或2所述的方法，其特征在于，所述根據各個關鍵關節點的三維坐標采用如下方式得到對應的二維坐標，

其中，設P為關鍵關節點，(x，y)為P的二維坐標，(X，Y，Z)為P的三維坐標，f_x、f_y分別為x、y方向的焦距，(c_x，c_y)為光中心，為相機的內參矩陣，s是一個比例因子。

4.根據權利要求3所述的方法，其特征在于，所述采用預設的第一旋轉矩陣和預設的平移向量采用以下方式對所述三維坐標進行轉換，將相機坐標系三維坐標轉換為世界坐標系三維坐標，

其中，(U，V，W)為關節點P在世界坐標系的三維坐標，R世界坐標相對于相機坐標的第一旋轉矩陣，t為世界坐標相對于相機坐標平移向量，

5.根據權利要求4所述的方法，其特征在于，所述將相機坐標系三維坐標轉換為世界坐標系三維坐標，包括：

將相機坐標系中以相機中心為原點的三維坐標變換為世界坐標系中以鼻尖點為原點的三維坐標，包括：

以鼻尖點為原點，將鼻尖、左眼、右眼形成的平面確定為第一平面；

當人體頭部姿態發生旋轉變化時，將鼻尖、左眼、右眼形成的新的平面確定為第二平面；

確定所述第一平面的第一法向量和第二平面的第二法向量，根據所述第一法向量和第二法向量計算旋轉夾角；

確定旋轉前鼻尖、左眼、右眼構成的第一向量和旋轉后鼻尖、左眼、右眼構成的第二向量，根據所述第一向量和第二向量計算旋轉軸；

根據所述旋轉夾角和旋轉軸計算得到第二旋轉矩陣；

根據所述第二向量和第二旋轉矩陣計算旋轉后的坐標，將所述旋轉后的坐標確定為世界坐標系的三維坐標。

6.根據權利要求5所述的方法，其特征在于，根據所述第一法向量和第二法向量采用如下方式計算旋轉夾角，

其中，向量n₁為β的法向量，向量n₂為α的法向量，θ∈[0°,90°]；

所述確定旋轉前鼻尖、左眼、右眼構成的第一向量和旋轉后鼻尖、左眼、右眼構成的第二向量，包括：

旋轉前鼻子，左眼，右眼固定向量為a(a₁,a₂,a₃)，旋轉后鼻子，左眼，右眼向量為b(b₁,b₂,b₃)；

設由叉乘定義得出公式

根據所述第一向量和第二向量采用以下方式計算旋轉軸，

其中，N1(n_x，n_y，n_z)為旋轉軸；

根據所述旋轉夾角和旋轉軸采用以下方式計算得到第二旋轉矩陣，

根據所述第二向量和第二旋轉矩陣采用以下方式計算旋轉后的坐標，

C(c₁，c₂，c₃)為根據旋轉矩陣R1與變換后坐標b相乘得到的一個新矩陣C＝R1*b，C即為旋轉后的坐標。