[發明專利]一種多模態輸入交互方法、裝置、機器人和存儲介質

在審

• 申請號: 202110439619.2
• 申請日: 2021-04-22
• 公開（公告）號: CN113126765A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 張獻濤;暴筱;林小俊;支濤
• 申請（專利權）人: 北京云跡科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0488;G06F40/30;G10L15/22
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 李飛

本申請實施例提供一種多模態輸入交互方法、裝置、機器人和存儲介質，該多模態輸入交互方法包括：獲取至少一條輸入信息；對所述至少一條輸入信息進行意圖識別，得到目標意圖；根據所述目標意圖和與所述目標意圖對應的頁面信息，獲取交互信息，其中，所述頁面信息是根據用于識別所述目標意圖的所有所述輸入信息得到的；輸出所述交互信息。本申請的一些實施例提供的多模態輸入交互方法將目標意圖與對應的頁面信息相結合，針對用戶同樣內容的輸入信息，可以識別出用戶差異化需求，提升用戶體驗。

技術領域

本申請涉及計算機應用技術領域，具體而言，涉及一種多模態輸入交互方法、裝置、機器人和存儲介質。

背景技術

隨著數字化和智能化技術在各個領域的深入發展，更多的智能化設備在生活中發揮作用。當前，很多智能終端設備，可同時支持觸屏輸入和語音輸入。

因此如何提升利用觸屏或語音等多模態方式與智能設備交互成為亟待解決的技術問題。

發明內容

本申請實施例的目的在于提供一種多模態輸入交互方法、裝置、機器人和存儲介質，本申請的一些實施例通過將意圖識別后得到的目標意圖與對應頁面信息相結合，生成交互信息的方法，針對用戶的輸入的同樣內容的信息，可以識別出差異化需求，改善了人機交互效果并提升了用戶體驗。

第一方面，本申請的一些實施例提供一種多模態輸入交互方法，包括：獲取至少一條輸入信息；根據所述至少一條輸入信息進行意圖識別，得到目標意圖；根據所述目標意圖和與所述目標意圖對應的頁面信息，獲取交互信息，其中，所述頁面信息是根據用于識別所述目標意圖的所有所述輸入信息得到的；輸出所述交互信息。

本申請實施例將意圖識別后得到的目標意圖與對應頁面信息相結合，生成交互信息，針對用戶同樣內容的輸入信息，可以識別出差異化需求，提升用戶體驗。

在一些實施例中，所述根據所述至少一條輸入信息進行意圖識別，得到目標意圖，包括：識別所述至少一條輸入信息中的干擾輸入信息；從所述至少一條輸入信息中，濾除所述干擾輸入信息，得到有效輸入信息；根據所述有效輸入信息進行意圖識別，得到所述目標意圖。

本申請實施例從輸入信息中識別出干擾信息并濾除，排除不相關信息的干擾，提高了目標意圖的準確性。

在一些實施例中，所述識別所述至少一條輸入信息中的干擾輸入信息，包括：根據所述至少一條輸入信息中各條輸入信息的輸入時間識別所述干擾輸入信息。

本申請實施例通過至少一條輸入信息中各條輸入信息的輸入時間來判斷是否是干擾信息，為判斷干擾信息提供了一種有效的方法。

在一些實施例中，所述根據所述至少一條輸入信息進行意圖識別，得到目標意圖，包括：獲取第一輸入信息的輸入時間和第二輸入信息的輸入時間的差值；確認所述差值大于設定閾值；至少根據所述第二輸入信息進行意圖識別，得到所述目標意圖。

本申請實施例提供了一種根據相鄰兩個輸入信息的輸入時間的差值來判斷干擾信息的方法，即確認相鄰的兩個輸入信息之間的時間間隔大于設定閾值，從而能有效濾除干擾信息，提高意圖識別的準確性。

在一些實施例中，所述根據所述至少一條輸入信息進行意圖識別，包括：根據所述至少一條輸入信息獲取所述輸入信息對應的目標格式文件，對所述目標格式文件進行意圖識別。

本申請實施例根據輸入信息生成所述信息對應的目標格式文件，再對所述目標格式文件進行意圖識別，可以方便各種模態的輸入信息均可以被同一意圖識別模型所識別，即可以將各種模態的輸入信息轉化成目標格式文件后，輸入訓練好的意圖識別模型進行意圖識別，提高了意圖識別的效率。

在一些實施例中，所述輸入信息包括語音信息；所述根據所述至少一條輸入信息進行意圖識別，包括：根據所述語音信息進行語音識別，得到語音識別結果；根據所述語音識別結果得到文本格式文件；根據所述文本格式文件進行意圖識別。