[發明專利]人機交互方法、裝置、設備以及存儲介質

有效

• 申請號: 202110950100.0
• 申請日: 2021-08-18
• 公開（公告）號: CN113674746B
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 吳震;王瀟;劉兵;王佳偉;魏晨闖;臧啟光;瞿琴;吳玉芳;時陽;革家象;付曉寅
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G10L15/26
• 分類號: G10L15/26;G10L15/22;G10L15/25
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開提供了人機交互方法、裝置、設備以及存儲介質，涉及深度學習、語音等人工智能領域。具體實現方案為：獲取來自用戶的目標語音指令以及用戶的嘴部圖像序列；對目標語音指令進行分析，確定對應的文本信息以及聲學信息；對嘴部圖像序列進行分析，確定嘴唇狀態序列；基于文本信息、聲學信息以及嘴唇狀態序列，確定目標語音指令是否屬于人機交互指令；響應于確定目標語音指令屬于人機交互指令，對目標語音指令進行響應。本實現方式能夠準確地判斷用戶的語音指令是否屬于人機交互指令，能夠提升智能設備指令執行的準確度，提升用戶的交互體驗。

技術領域

本公開涉及計算機技術領域，具體涉及深度學習、語音等人工智能領域，尤其涉及人機交互方法、裝置、設備以及存儲介質。

背景技術

傳統的遠場語音交互中，用戶需要頻繁喚醒設備才可以交互。一次喚醒持續交互技術，可以讓用戶只喚醒一次，后續一段時間內直接對設備發起語音請求。在持續聆聽的過程中，會收到大量的語音指令，既包括用戶對設備發起的指令(后續稱人機交互指令)，也包括一些不是對設備發起的指令(如噪音、家中電視聲音、家人之間聊天等，后續稱非人機交互指令)。如何準確地判斷用戶發起的語音指令是否屬于人機交互指令對于提升用戶的使用體驗非常重要。

發明內容

本公開提供了一種人機交互方法、裝置、設備以及存儲介質。

根據第一方面，提供了一種人機交互方法，包括：獲取來自用戶的目標語音指令以及用戶的嘴部圖像序列；對目標語音指令進行分析，確定對應的文本信息以及聲學信息；對嘴部圖像序列進行分析，確定嘴唇狀態序列；基于文本信息、聲學信息以及嘴唇狀態序列，確定目標語音指令是否屬于人機交互指令；響應于確定目標語音指令屬于人機交互指令，對目標語音指令進行響應。

根據第二方面，提供了一種人機交互裝置，包括：數據獲取單元，被配置成獲取來自用戶的目標語音指令以及用戶的嘴部圖像序列；指令分析單元，被配置成對目標語音指令進行分析，確定對應的文本信息以及聲學信息；圖像分析單元，被配置成對嘴部圖像序列進行分析，確定嘴唇狀態序列；指令判斷單元，被配置成基于文本信息、聲學信息以及嘴唇狀態序列，確定目標語音指令是否屬于人機交互指令；指令響應單元，被配置成響應于確定目標語音指令屬于人機交互指令，對目標語音指令進行響應。

根據第三方面，提供了一種電子設備，包括：至少一個處理器；以及與上述至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，上述指令被至少一個處理器執行，以使至少一個處理器能夠執行如第一方面所描述的方法。

根據第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，上述計算機指令用于使計算機執行如第一方面所描述的方法。

根據第五方面，一種計算機程序產品，包括計算機程序，上述計算機程序在被處理器執行時實現如第一方面所描述的方法。

根據本公開的技術能夠準確地判斷用戶的語音指令是否屬于人機交互指令，能夠提升智能設備指令執行的準確度，提升用戶的交互體驗。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本公開的限定。其中：

圖1是本公開的一個實施例可以應用于其中的示例性系統架構圖；

圖2是根據本公開的人機交互方法的一個實施例的流程圖；

圖3是根據本公開的人機交互方法的一個應用場景的示意圖；

圖4是根據本公開的人機交互方法的另一個實施例的流程圖；

圖5是根據本公開的人機交互裝置的一個實施例的結構示意圖；