[發明專利]交互方法、裝置、設備及存儲介質

有效

• 申請號: 201910020565.9
• 申請日: 2019-01-09
• 公開（公告）號: CN111427529B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 楊揚
• 申請（專利權）人: 斑馬智行網絡(香港)有限公司
• 主分類號: G06F3/16
• 分類號: G06F3/16
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 徐穎聰

本發明提供了一種交互方法、裝置、設備及存儲介質。為應用中的視圖組件配置一個或多個交互命令，交互命令用于描述與其對應的非接觸式交互事件，非接觸式交互事件是以非接觸式交互方式輸入的事件；為一個或多個視圖組件提供交互命令識別服務，交互命令識別服務用于識別非接觸式交互事件所對應的交互命令。由此，通過為視圖組件添加對交互命令的支持，就像傳統的觸控事件可以直達視圖組件一樣，可以讓非接觸式交互事件直達視圖組件，從而可以提升用戶的非接觸式交互體驗。

技術領域

本發明涉及交互領域，特別是涉及一種交互方法、裝置、設備及存儲介質。

背景技術

目前語音交互方式(Voice-UI)正在流行起來，而基于視覺(如雙/多目攝像頭)的交互方式逐漸也應用比較廣泛。雖然這些自然交互方式是下一步發展的方向，但目前最常見的交互方式還是Graphics?UI(圖形用戶界面，GUI)，如果能在GUI基礎上增加這些新型的自然交互方式，將極大提升用戶交互時的體驗。這種交互方式可以稱為“多模態交互界面(Multi-Modal?Interface，簡稱MMI)”。本質上這些交互方式都是相對于以鼠標、鍵盤、觸摸等為代表的傳統的接觸式交互方式的一種擴展。

以語音交互為例，目前業界常見的做法都是類似語音助手的方案，如Android的Google?Assistant和iOS的Siri，主要的做法是通過語音識別將用戶的語音轉換成對應的文字，再通過NLU理解成為一個Action。然后通過這個Action以操作系統進程間通訊的機制返回來并發送給對應的應用。應用在收到這個Action后，去執行對應的功能。

這種方式主要存在如下主要缺點：

1)無法做到語音和應用的深度集成，無法比較方便的實現沉浸式體驗。因為語音和應用是處于完全兩個進程，因此只能通過約定一系列進程間通訊的接口來完成相關的功能；

2)應用無法及時將語音識別的上下文告之另一個應用，從而無法方便地對語音輸入進行限定，無法做高效的語音識別；

3)由于語音助手的方案，很多語音相關的交互邏輯是集中在語音助手應用中的，使得本該屬于自己應用的語音和GUI這塊相關邏輯分散在語音助手和自己應用這兩個應用中，開發起來復雜，擴展性和可維護性差，無法滿足未來大量的語音+GUI交互的需求；

4)沒有考慮到“多模態”交互方式，因為目前iOS/Android的UI還是傳統的GUI，交互方式還是以觸摸、鼠標、鍵盤這些傳統交互模式為主，語音助手雖然可以提供一定程度上的語音模態的支持，但如果以后再支持多模態，又會需要另一個模態助手或者擴展語音助手的能力來支持其他模態，這會對開發這類應用無論在擴展性和可維護性都提出更大的挑戰。

因此，針對語音、視覺等新型的交互方式，仍然需要一種改進的交互方案。

發明內容

本發明的一個目的在于，提供一種支持語音、視覺等非接觸式交互方式的交互方案，以解決背景技術部分提及的至少一種問題。

根據本發明的第一個方面，提供了一種交互方法，包括：為應用中的視圖組件配置一個或多個交互命令，交互命令用于描述與其對應的非接觸式交互事件，非接觸式交互事件是以非接觸式交互方式輸入的事件；為一個或多個視圖組件提供交互命令識別服務，交互命令識別服務用于識別非接觸式交互事件所對應的交互命令。

可選地，非接觸式交互方式包括以下至少一種：語音交互方式：和/或視覺交互方式。

可選地，為應用中的視圖組件配置一個或多個交互命令的步驟包括：在視圖組件上集成第一接口，第一接口用于為視圖組件添加一個或多個交互命令；并且/或者在視圖組件上集成第二接口，第二接口用于為視圖組件刪除一個或多個交互命令。