[發明專利]一種具有意圖理解功能的交互式智能容器

有效

• 申請號: 201910548006.5
• 申請日: 2019-06-21
• 公開（公告）號: CN110286835B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 馮志全;袁杰;馮仕昌;范雪
• 申請（專利權）人: 濟南大學
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T13/20;G06F3/0487;G06F3/0488;G06F3/16;G09B9/00
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 侯德玉

本發明提出了一種具有意圖理解功能的交互式智能容器，包括感知模塊、識別模塊、意圖融合模塊和交互應用模塊；感知模塊用于獲取智能容器的觸覺信息以及通過語音輸入輸出設備獲取語音信息。識別模塊用于將輸入的觸覺信息和語音信息表示成是三元組，然后將三元組和數據庫信息進行比對得出五元組的輸出；意圖融合模塊采用類比推理的方式，得到用戶的準確意圖，并糾正教學導航。交互應用模塊根據用戶的意圖呈現不同的實驗效果，本發明設計了一種具有意圖理解功能的交互式智能容器，以及研究適用于化學實驗的多模態融合模型與算法，形成多模態感知的導航式虛實融合智能實驗系統。本發明采用觸覺信息和語音信息的意圖融合，使人機交互更加自然。

技術領域

本發明屬于智能容器技術領域，特別涉及一種具有意圖理解功能的交互式智能容器。

背景技術

隨著信息技術的不斷發展，虛擬教學相繼進入教師和學生的教學環境中。化學、物理、生物等抽象科目，都可以應用到虛擬教學環境當中。化學是一門以實驗為基礎的學科，化學實驗是進行科學探究的主要方式。學習化學需要通過化學實驗來掌握大部分抽象得化學知識。然而，在現實生活往往面臨化學實驗過程危險、部分國家與地區教學資金不足和設備缺乏等問題，這些原因導致學校不會開設實驗課，老師僅通過實驗視頻來完成教學任務。在某些情況下，虛擬實驗室代替傳統實驗室已經成為一種趨勢，學生往往可以在實驗平臺中，重復練習化學實驗，這樣就可以避免資源浪費和對學生健康造成危害。目前已有得虛擬實驗室大體可以分為:非沉浸式和沉浸式。

虛擬實驗已經進入我們的學習與生活，虛擬實驗室為學生提供了一個安全的實驗環境而不浪費資源。Fowler等證明了化學實驗教學能夠有效地應用于虛擬世界。Ramos S等為了解決各個國家教育水平不同的問題，建立了一個VirtuaLabQ的虛擬實驗室，改善了學生的學習。Ullah S等證明在虛擬環境中的指導可以增強學生的學習，提高他們在現實世界中的表現。Xiaoming D等將虛擬實驗與學習評估融合，提高了學生的自主學習能力。Hou HT等將增強現實與虛擬實驗室相結合，證明了學生在游戲后學習成績有明顯提高。Ifthinan等探究了學生在探究性的虛擬試驗室下的使用效果，實驗結果表明，使用虛擬化學實驗軟件的學生更容易回答與實際技術相關的化學問題，更加專注于實驗。我們可以得出將虛擬化學實驗用于教學是可行的，在某種程度上優于傳統的教學。在將多種通道加入虛擬實驗方面，Mayer R E等等人探索了視覺和聽覺雙通道下人的學習效率的問題。Jones J M G證明觸覺在人認知和學習的過程中有重要作用。Sato M等將觸覺引入虛擬教學。Ali N等等人將建立了一個多模態的虛擬化學實驗室，將視覺和聽覺結合起來。Aldosari S S等將觸覺和手勢引入虛擬化學實驗中。Isabwe等提出了多模態交互，將視覺、聽覺和動覺加入虛擬實驗中，提高學生在多模式交互的環境中學習的興趣。通過以上，我們可以得出在虛擬現實中使用多模態交互可以提高學生的學習興趣和實驗效果。意圖理解是人機交互中關鍵問題之一，使用多模態融合的方法，是計算機理解感知人的意圖問題的解決方法之一。路璐等提出了一種融合觸覺、聽覺、視覺的多通道信息認知加工模型，并提出了多通道交互的分層處理模型，得到了良好的實驗效果。為解決虛擬環境下，多模式交互使傳統事件驅動系統復雜化，增加用戶認知操作符合，Ge等通過觀察實際操作過程并分析意圖表達，構建了一個意圖驅動系統。實驗結果表明，意圖驅動系統比傳統的事件驅動系統更有效，并且能夠準確地表達用戶的想法。同時，Mounir等^[34]為解決虛擬環境下用戶認知和操作負擔過重，將復雜事件處理(CEP)的技術和方法應用到多模態系統的輸入事件，系統生成的事件將基于規則轉化為意圖，提高了虛擬環境下人機交互的自然度和效率。Mollaret等提出了一種新穎的檢測人的互動意圖的方法，該方法使用基于概率離散狀態隱馬爾科夫模型，融合了包括頭部姿態、肩部方向、和聲音多模態線索，是機器人更容易理解用戶意圖。Mollaret等提出了一種基于多模態感知的機器人系統框架，利用視覺和語音理解用戶意圖。