[發明專利]一種多模態融合交互系統、方法、智能機器人及存儲介質

在審

• 申請號: 202010438624.7
• 申請日: 2020-05-21
• 公開（公告）號: CN111931036A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 董文平
• 申請（專利權）人: 廣州極天信息技術股份有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/332;G06F16/35;G06F16/36;G06N20/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

本發明公開一種多模態融合交互系統，包括：信息獲取模塊，用于獲取多個信息感知設備采集的目標人體的信息；融合分析模塊，用于對獲取的多個信息進行分析融合，以獲得所述目標人體的融合需求；需求發送模塊，用于將所述融合需求發送至云端服務器，以使得所述云端服務器對所述融合需求進行解析，生成并返回對應的答案；交互模塊，用于將所述答案通過預定的方式進行反饋。本發明提供的多模態融合交互系統，通過對獲取的目標人體的信息進行融合分析，得到相應于每個目標人體的融合需求，從而可以根據不同用戶的情況得到不同的答案，豐富了人機交互的方式，使得問題的反饋更多樣，更符合用戶的需求。

技術領域

本發明涉及智能機器人領域，尤其涉及一種多模態融合交互系統、方法、智能機器人及存儲介質。

背景技術

人工智能是計算機科學的一個分支，它企圖了解智能的實質，并生產出一種新的能以人類智能相似的方式做出反應的智能機器，該領域的研究包括機器人、語言識別、圖像識別、自然語言處理和專家系統等。人工智能從誕生以來，理論和技術日益成熟，應用領域也不斷擴大，可以設想，未來人工智能帶來的科技產品，將會是人類智慧的“容器”。人工智能可以對人的意識、思維的信息過程的模擬。人工智能不是人的智能，但能像人那樣思考、也可能超過人的智能。

機器人是人工智能最重要的研究方向，人機交互是機器人研究的主要方向之一，是實現人和機器人進行“溝通”的前提。一般情況中，機器人主要是通過各種傳感器或者信息采集設備來采集人的信息，并根據獲取的信息進行反饋。例如，根據用戶發出的語音、輸入的文字或者圖片信息來獲取用戶的需求，并根據需求進行反饋，這種方式存在交互和反饋的方式比較單一，不能根據不同用戶的實際情況做出不同的反饋，無法給用戶以多樣化的體驗。

發明內容

有鑒于此，本發明的目的在于提供一種多模態融合交互系統、方法、智能機器人及存儲介質，能為用戶提供豐富多變的人機交互。

本發明實施例提供了一種多模態融合交互系統，包括：

信息獲取模塊，用于獲取多個信息感知設備采集的目標人體的多模態信息；

融合分析模塊，用于對獲取的多個多模態信息進行分析融合，以獲得所述目標人體的融合需求；

需求發送模塊，用于將所述融合需求發送至云端服務器，以使得所述云端服務器對所述融合需求進行解析，生成并返回對應的答案；

交互模塊，用于將所述答案通過預定的方式進行反饋。

優選地，所述信息感知設備至少包括以下其中之一：攝像頭、拾音器、距離檢測器、紅外感應器；則對應的目標人體的多模態信息包括：目標人體的圖像、目標人體發出的語音、與目標人體的距離、目標人體的紅外信息。

優選地，所述融合分析模塊具體包括：

特征提取單元，用于對獲取的多個目標人體的多模態信息進行特征提取，以獲取包含在多個多模態信息中的需求信息以及所述目標人體的人體特征；

融合單元，用于根據所述目標人體的人體特征以及所述需求信息進行融合，生成融合需求。

優選地，所述人體特征包括以下其中之一：目標人體的年齡、性別、當前情緒。

優選地，所述交互模塊具體用于：

對所述答案進行遍歷，以獲取所述答案中包括的特定關鍵詞；

獲取與所述關鍵詞對應的多種反饋方式；

根據所述目標人體的人體特征選取對應的反饋方式；

根據與所述特定關鍵詞對應的反饋方式對所述答案或所述答案的包含所述特定關鍵詞的部分進行展示。

優選地，還包括：