[發明專利]一種基于手勢識別的語音交互系統及方法

在審

• 申請號: 201910036538.0
• 申請日: 2019-01-15
• 公開（公告）號: CN109754801A
• 公開（公告）日: 2019-05-14
• 發明（設計）人: 鄭雨洲
• 申請（專利權）人: 東莞松山湖國際機器人研究院有限公司
• 主分類號: G10L15/22
• 分類號: G10L15/22;G06F3/01
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 羅曉林

本發明公開了一種基于手勢識別的語音交互系統及方法，其包括距離傳感器、中央處理器、攝像頭、麥克風、存儲模塊、振動馬達及通訊模塊，距離傳感器用于檢測攝像頭與目標對象手部之間的距離，攝像頭用于對目標對象手部進行感測并采集目標對象的手勢動作圖像，攝像頭將目標對象的手勢動作圖像發送給中央處理器；麥克風用于采集目標對象的語音指令；中央處理器用于對攝像頭采集的目標對象的手勢動作圖像進行手勢識別處理，獲取攝像頭采集的目標對象的手勢動作圖像對應的預設手勢動作。本發明通過手勢觸發語音識別，并且用戶舉起不同手勢可替代部分不同的語音指令，從而簡化用戶的單一性語音指令交互方式，大大提高了用戶體驗。

技術領域

本發明涉及電子系統技術領域，尤其是涉及一種基于手勢識別的語音交互系統及方法。

背景技術

現有的語音交互系統，如智能手機、智能音箱、智能手表等，它們的使用流程有以下幾個步驟：

步驟一，喚醒系統，通過觸控屏點擊或滑動進入語音助手界面，或是語音說出喚醒語，系統聽到后進入語音助手界面；

步驟二，等待反饋，此時帶有顯示屏的系統會在屏幕上顯示語音助手界面，無顯示屏的系統會發出聲音反饋，告知用戶語音助手模式已啟動；

步驟三，發語音命令，用戶必須在前兩個步驟完成后，才可發出實際所需的語音命令。

由于語音喚醒和語音反饋需要一定的耗時，這樣的交互方式的后果是，用戶每次發語音命令，無論多長多短，都必須經歷若干秒的等待過程，且發出的語音命令中間不能有較長的停頓，否則需要再次經歷步驟一和步驟二。

這樣的語音交互方式在以下場景無法滿足人們的要求：在一些緊急場合，用戶需要用語音快速向他人傳達如求救之類的緊急信息時；用戶短時間內需多次通過系統使用語音功能；在一些環境嘈雜場合，語音喚醒系統成功率不高。

所以我們需要一種更快速更直接的語音交互方式。

發明內容

基于此，有必要針對現有技術的不足，提供一種提高用戶體驗度的基于手勢識別的語音交互系統及方法，通過手勢觸發語音識別，并且用戶舉起不同手勢可替代部分不同的語音指令，從而簡化用戶的單一性語音指令交互方式。

為解決上述技術問題，本發明所采用的技術方案是：一種基于手勢識別的語音交互系統，其包括距離傳感器、中央處理器、攝像頭、麥克風、存儲模塊、振動馬達及通訊模塊，所述距離傳感器、攝像頭、麥克風、存儲模塊、振動馬達及通訊模塊分別與中央處理器電性連接，所述距離傳感器用于檢測攝像頭與目標對象手部之間的距離，所述攝像頭用于對目標對象手部進行感測并采集目標對象的手勢動作圖像，所述攝像頭將目標對象的手勢動作圖像發送給中央處理器；所述麥克風用于采集目標對象的語音指令；所述存儲模塊設置有手勢存儲區、語音預指令存儲區、臨時語音存儲區及混合語音存儲區，所述手勢存儲區用于存取預設手勢動作，所述臨時語音存儲區用于存儲第一語音指令，所述第一語音指令為麥克風采集目標對象的語音指令，所述語音預指令存儲區用于存儲第二語音指令，所述第二語音指令為預設手勢動作對應的語音指令，所述混合語音存儲區用于存儲第三語音指令，所述第三語音指令由第一語音指令與第二語音指令拼接組合而成；所述中央處理器用于對攝像頭采集的目標對象的手勢動作圖像進行手勢識別處理，獲取攝像頭采集的目標對象的手勢動作圖像對應的預設手勢動作。

一種基于手勢識別的語音交互系統方法，其包括如下步驟：

（1）、檢測攝像頭與目標對象手部之間的距離并發送觸發信號；具體地，距離傳感器檢測攝像頭與目標對象手部之間的距離，并將檢測距離與預設距離進行比較，當檢測到攝像頭與目標對象手部之間的距離處于預設距離范圍內時，向中央處理器發送觸發信號；