[發明專利]用于用戶勞動學習的人機交互系統及方法

有效

• 申請號: 202010632338.4
• 申請日: 2020-07-03
• 公開（公告）號: CN111913572B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 劉治;姚佳
• 申請（專利權）人: 山東大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06Q50/20;G06Q50/26
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

1.用于用戶勞動學習的人機交互系統，其特征是，包括：

使用時佩戴在用戶頭部的混合現實眼鏡，所述混合現實眼鏡上布設有傳感器、第一攝像頭和第二攝像頭；所述混合現實眼鏡通過視頻圖像適配器與處理器連接，所述傳感器通過控制器與處理器連接，所述控制器還與音箱連接，所述處理器還分別與第一攝像頭和第二攝像頭連接；所述處理器中預先存儲有給勞動學習的用戶觀看的視頻，所述混合現實眼鏡輔助用戶完成勞動學習過程中的人機交互；

所述系統還包括：對第一攝像頭和第二攝像頭進行位置校準，然后，所述第一攝像頭和第二攝像頭采集用戶的肢體運動數據；所述對第一攝像頭和第二攝像頭進行位置校準，采用圖像配準算法；具體步驟包括：

步驟(1)：基于模式平面的圓中心點坐標，依據映射比例計算二維單應；所述模式平面為打印在規則網格上的若干圓，構成一個能夠表現物體位置信息的坐標系；

步驟(2)：利用初始主點坐標和二維單應計算焦距，基于3D空間中的平面模式，計算攝像機的位置和方向；

步驟(3)：依據攝像機的位置和方向，將模式平面上的所有映射像素點投影至圖像平面，通過更新主點的位置坐標減少投影圓環位置與圖像中檢測位置的偏移量；

步驟(4)：重新計算每臺攝像機的焦距、位置和方向；

步驟(5)：重復更新主點的坐標位置，直至偏移誤差小于設定閾值；

步驟(6)：根據步驟(4)的結果，依據每臺攝像機的焦距、位置和方向實時調整兩臺攝像頭的焦距、位置和方向，完成鏡頭校準。

2.如權利要求1所述的系統，其特征是，所述混合現實眼鏡將處理器傳輸過來的預設視頻進行播放；所述音箱將處理器傳輸過來的音頻進行播放；所述傳感器采集用戶的頭部轉動數據，所述傳感器將采集的頭部轉動數據通過控制器傳輸給處理器；所述第一攝像頭和第二攝像頭采集用戶的肢體運動數據，所述第一攝像頭和第二攝像頭將自身采集的肢體運動數據傳輸給處理器。

3.如權利要求1所述的系統，其特征是，所述處理器根據頭部轉動數據獲取用戶的視場，根據用戶的視場和對應視場范圍內的視頻構建虛擬三維場景；所述處理器將肢體運動數據與虛擬三維場景進行融合，根據肢體運動數據對虛擬三維場景進行調整，所述處理器將調整后的虛擬三維場景再融合到視頻中，將融合后的視頻通過視頻圖像適配器回傳給混合現實眼鏡，顯示給用戶。

4.如權利要求1所述的系統，其特征是，所述系統還包括：所述第一攝像頭和第二攝像頭將自身采集的肢體運動數據進行圖像實時修正后，再傳輸給處理器。

5.如權利要求4所述的系統，其特征是，所述圖像實時修正的具體步驟，包括：采用鏡頭畸變估計算法進行參數估計，基于估計的參數對由于鏡頭畸變引起的圖像變形失真進行校正。

6.用于用戶勞動學習的人機交互方法，其特征是，包括：

混合現實眼鏡將處理器傳輸過來的預設視頻進行播放；所述混合現實眼鏡上布設有傳感器、第一攝像頭和第二攝像頭；所述混合現實眼鏡通過視頻圖像適配器與處理器連接，所述傳感器通過控制器與處理器連接，所述控制器還與音箱連接；所述音箱將處理器傳輸過來的音頻進行播放；所述傳感器采集用戶的頭部轉動數據，所述傳感器將采集的頭部轉動數據通過控制器傳輸給處理器；所述第一攝像頭和第二攝像頭采集用戶的肢體運動數據，所述第一攝像頭和第二攝像頭將自身采集的肢體運動數據傳輸給處理器；

所述處理器根據頭部轉動數據獲取用戶的視場，根據用戶的視場和對應視場范圍內的視頻構建虛擬三維場景；所述處理器將肢體運動數據與虛擬三維場景進行融合，根據肢體運動數據對虛擬三維場景進行調整，所述處理器將調整后的虛擬三維場景再融合到視頻中，將融合后的視頻通過視頻圖像適配器回傳給混合現實眼鏡，顯示給用戶；

所述方法還包括，采用圖像配準算法，完成第一攝像頭和第二攝像頭的校準；具體步驟包括：

步驟(1)：基于模式平面的圓中心點坐標，依據映射比例計算二維單應；所述模式平面為打印在規則網格上的若干圓，構成一個能夠表現物體位置信息的坐標系；

步驟(2)：利用初始主點坐標和二維單應計算焦距，基于3D空間中的平面模式，計算攝像機的位置和方向；

步驟(3)：依據攝像機的位置和方向，將模式平面上的所有映射像素點投影至圖像平面，通過更新主點的位置坐標減少投影圓環位置與圖像中檢測位置的偏移量；

步驟(4)：重新計算每臺攝像機的焦距、位置和方向；

步驟(5)：重復更新主點的坐標位置，直至偏移誤差小于設定閾值；

步驟(6)：根據步驟(4)的結果，依據每臺攝像機的焦距、位置和方向實時調整兩臺攝像頭的焦距、位置和方向，完成鏡頭校準。