[發(fā)明專利]一種基于手勢識別的語音交互系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 201910036538.0
• 申請日: 2019-01-15
• 公開（公告）號: CN109754801A
• 公開（公告）日: 2019-05-14
• 發(fā)明（設(shè)計）人: 鄭雨洲
• 申請（專利權(quán)）人: 東莞松山湖國際機(jī)器人研究院有限公司
• 主分類號: G10L15/22
• 分類號: G10L15/22;G06F3/01
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 羅曉林

1.一種基于手勢識別的語音交互系統(tǒng)，其特征在于：包括距離傳感器、中央處理器、攝像頭、麥克風(fēng)、存儲模塊、振動馬達(dá)及通訊模塊，所述距離傳感器、攝像頭、麥克風(fēng)、存儲模塊、振動馬達(dá)及通訊模塊分別與中央處理器電性連接，所述距離傳感器用于檢測攝像頭與目標(biāo)對象手部之間的距離，所述攝像頭用于對目標(biāo)對象手部進(jìn)行感測并采集目標(biāo)對象的手勢動作圖像，所述攝像頭將目標(biāo)對象的手勢動作圖像發(fā)送給中央處理器；所述麥克風(fēng)用于采集目標(biāo)對象的語音指令；所述存儲模塊設(shè)置有手勢存儲區(qū)、語音預(yù)指令存儲區(qū)、臨時語音存儲區(qū)及混合語音存儲區(qū)，所述手勢存儲區(qū)用于存取預(yù)設(shè)手勢動作，所述臨時語音存儲區(qū)用于存儲第一語音指令，所述第一語音指令為麥克風(fēng)采集目標(biāo)對象的語音指令，所述語音預(yù)指令存儲區(qū)用于存儲第二語音指令，所述第二語音指令為預(yù)設(shè)手勢動作對應(yīng)的語音指令，所述混合語音存儲區(qū)用于存儲第三語音指令，所述第三語音指令由第一語音指令與第二語音指令拼接組合而成；所述中央處理器用于對攝像頭采集的目標(biāo)對象的手勢動作圖像進(jìn)行手勢識別處理，獲取攝像頭采集的目標(biāo)對象的手勢動作圖像對應(yīng)的預(yù)設(shè)手勢動作。

2.根據(jù)權(quán)利要求1所述的一種基于手勢識別的語音交互系統(tǒng)，其特征在于：所述語音預(yù)指令存儲區(qū)中存儲有若干個wav格式的第二語音指令，每個wav格式的第二語音指令與手勢存儲區(qū)中的每個預(yù)設(shè)手勢動作一一對應(yīng)。

3.根據(jù)權(quán)利要求2所述的一種基于手勢識別的語音交互系統(tǒng)，其特征在于：所述臨時語音存儲區(qū)中存儲有wav格式的第一語音指令，所述語音預(yù)指令存儲區(qū)中存儲的wav格式的第二語音指令與臨時語音存儲區(qū)中存儲的wav格式的第一語音指令的采樣位數(shù)、采樣頻率和聲道數(shù)的設(shè)置均相同。

4.根據(jù)權(quán)利要求2所述的一種基于手勢識別的語音交互系統(tǒng)，其特征在于：所述語音預(yù)指令存儲區(qū)設(shè)置有多個小分區(qū)，每個小分區(qū)里分別含有一個wav格式的第二語音指令。

5.根據(jù)權(quán)利要求1所述的一種基于手勢識別的語音交互系統(tǒng)，其特征在于：所述通訊模塊為藍(lán)牙或wifi連接模塊。

6.一種基于手勢識別的語音交互方法，其特征在于，包括如下步驟：

（1）、檢測攝像頭與目標(biāo)對象手部之間的距離并發(fā)送觸發(fā)信號；

（2）、采集目標(biāo)對象的手勢動作圖像，將目標(biāo)對象的手勢動作圖像發(fā)送給中央處理器；

（3）、對攝像頭采集目標(biāo)對象的手勢動作圖像進(jìn)行手勢識別處理，獲取采集目標(biāo)對象的手勢動作圖像對應(yīng)的預(yù)設(shè)手勢動作；

（4）、獲取第二語音指令；

（5）、采集目標(biāo)對象的語音指令，獲取第一語音指令；

（6）、將第一語音指令與第二語音指令拼接形成第三語音指令。

7.根據(jù)權(quán)利要求6所述的一種基于手勢識別的語音交互方法，其特征在于：所述第二語音指令為wav格式音頻文件，所述第一語音指令為wav格式音頻文件。

8.根據(jù)權(quán)利要求7所述的一種基于手勢識別的語音交互系統(tǒng)方法，其特征在于，所述步驟（6）中將第一語音指令與第二語音指令拼接組合形成第三語音指令的方法為：將第二語音指令對應(yīng)的wav格式音頻文件與第一語音指令對應(yīng)的wav格式音頻文件進(jìn)行拼接，形成第三語音指令對應(yīng)的wav格式音頻文件。