[發(fā)明專利]用于用戶勞動學習的人機交互系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202010632338.4
• 申請日: 2020-07-03
• 公開（公告）號: CN111913572B
• 公開（公告）日: 2022-03-15
• 發(fā)明（設計）人: 劉治;姚佳
• 申請（專利權）人: 山東大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06Q50/20;G06Q50/26
• 代理公司: 濟南圣達知識產(chǎn)權代理有限公司 37221
• 代理人: 黃海麗

本申請公開了用于用戶勞動學習的人機交互系統(tǒng)及方法，包括：使用時佩戴在用戶頭部的混合現(xiàn)實眼鏡，所述混合現(xiàn)實眼鏡上布設有傳感器、第一攝像頭和第二攝像頭；所述混合現(xiàn)實眼鏡通過視頻圖像適配器與處理器連接，所述傳感器通過控制器與處理器連接，所述控制器還與音箱連接，所述處理器還分別與第一攝像頭和第二攝像頭連接；所述處理器中預先存儲有給勞動學習的用戶觀看的視頻，所述混合現(xiàn)實眼鏡輔助用戶完成勞動學習過程中的人機交互。

技術領域

本申請涉及人工智能和計算機視覺技術領域，特別是涉及用于用戶勞動學習的人機交互系統(tǒng)及方法。

背景技術

本部分的陳述僅僅是提到了與本申請相關的背景技術，并不必然構成現(xiàn)有技術。

用戶需要參與勞動學習，合理的勞動學習可以磨練用戶的意志，同時還可以學習各種工作技能。

在實現(xiàn)本申請的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術中存在以下技術問題：

(1)現(xiàn)有的勞動學習模式比較單一，具備用戶矯治工作經(jīng)驗的思想教育工作者相對匱乏，傳統(tǒng)的思想工作通過大課堂、說教式、灌輸式、一刀切為主，內(nèi)容套路化、格式化、教育手段機械、單一，無法實現(xiàn)針對性和個性化的人機交互。

(2)勞動學習過程中的成功經(jīng)驗，不能夠及時在更大范圍內(nèi)進行信息共享；

(3)硬件設施匱乏，無法通過人機交互的形式輔助用戶學習專業(yè)技能或者進行精神層面的學習。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術的不足，本申請?zhí)峁┝擞糜谟脩魟趧訉W習的人機交互系統(tǒng)及方法；

第一方面，本申請?zhí)峁┝擞糜谟脩魟趧訉W習的人機交互系統(tǒng)；

用于用戶勞動學習的人機交互系統(tǒng)，包括：

使用時佩戴在用戶頭部的混合現(xiàn)實眼鏡，所述混合現(xiàn)實眼鏡上布設有傳感器、第一攝像頭和第二攝像頭；所述混合現(xiàn)實眼鏡通過視頻圖像適配器與處理器連接，所述傳感器通過控制器與處理器連接，所述控制器還與音箱連接，所述處理器還分別與第一攝像頭和第二攝像頭連接；所述處理器中預先存儲有給勞動學習的用戶觀看的視頻，所述混合現(xiàn)實眼鏡輔助用戶完成勞動學習過程中的人機交互。

第二方面，本申請?zhí)峁┝擞糜谟脩魟趧訉W習的人機交互方法；

用于用戶勞動學習的人機交互方法，包括：

混合現(xiàn)實眼鏡將處理器傳輸過來的預設視頻進行播放；所述音箱將處理器傳輸過來的音頻進行播放；所述傳感器采集用戶的頭部轉動數(shù)據(jù)，所述傳感器將采集的頭部轉動數(shù)據(jù)通過控制器傳輸給處理器；所述第一攝像頭和第二攝像頭采集用戶的肢體運動數(shù)據(jù)，所述第一攝像頭和第二攝像頭將自身采集的肢體運動數(shù)據(jù)傳輸給處理器；

所述處理器根據(jù)頭部轉動數(shù)據(jù)獲取用戶的視場，根據(jù)用戶的視場和對應視場范圍內(nèi)的視頻構建虛擬三維場景；所述處理器將肢體運動數(shù)據(jù)與虛擬三維場景進行融合，根據(jù)肢體運動數(shù)據(jù)對虛擬三維場景進行調(diào)整，所述處理器將調(diào)整后的虛擬三維場景再融合到視頻中，將融合后的視頻通過視頻圖像適配器回傳給混合現(xiàn)實眼鏡，顯示給用戶。

與現(xiàn)有技術相比，本申請的有益效果是：

1、本申請將思想教育、技能培養(yǎng)、文娛生活等不同層面的學習策略有效融合全面納入智能平臺，實現(xiàn)功能集成、應用集成、技術集成。VR體驗為全虛擬化場景，雖然可以營造真實條件下難以構建的氛圍，但虛擬和真實的融合性較差，體驗過程中與現(xiàn)實環(huán)境的屏蔽感嚴重，多名參與者在體驗過程中無法實現(xiàn)實時群體交互。AR體驗雖然將真實與虛擬元素相結合，但只是將虛擬信息簡單疊加在現(xiàn)實事物上，在減少VR體驗孤獨感的同時，真實感、沉浸感降低。