[發(fā)明專利]人機(jī)交互方法、裝置、設(shè)備以及存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110950100.0
• 申請日: 2021-08-18
• 公開（公告）號(hào): CN113674746B
• 公開（公告）日: 2022-09-16
• 發(fā)明（設(shè)計(jì)）人: 吳震;王瀟;劉兵;王佳偉;魏晨闖;臧啟光;瞿琴;吳玉芳;時(shí)陽;革家象;付曉寅
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G10L15/26
• 分類號(hào): G10L15/26;G10L15/22;G10L15/25
• 代理公司: 北京英賽嘉華知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種人機(jī)交互方法，包括：

獲取來自用戶的目標(biāo)語音指令以及用戶的嘴部圖像序列；

對(duì)所述目標(biāo)語音指令進(jìn)行分析，確定對(duì)應(yīng)的文本信息以及聲學(xué)信息，所述聲學(xué)信息包括音節(jié)特征；

對(duì)所述嘴部圖像序列進(jìn)行分析，確定嘴唇狀態(tài)序列；

基于所述文本信息、所述聲學(xué)信息以及所述嘴唇狀態(tài)序列，確定所述目標(biāo)語音指令是否屬于人機(jī)交互指令；

響應(yīng)于確定所述目標(biāo)語音指令屬于人機(jī)交互指令，對(duì)所述目標(biāo)語音指令進(jìn)行響應(yīng)；

其中，所述基于所述文本信息、所述聲學(xué)信息以及所述嘴唇狀態(tài)序列，確定所述目標(biāo)語音指令是否屬于人機(jī)交互指令，包括：

將所述文本信息、所述聲學(xué)信息以及預(yù)先訓(xùn)練的判斷模型，確定所述目標(biāo)語音指令的判斷結(jié)果；

響應(yīng)于確定所述判斷結(jié)果指示所述目標(biāo)語音指令屬于人機(jī)交互指令，基于所述嘴唇狀態(tài)序列，對(duì)所述判斷結(jié)果進(jìn)行核驗(yàn)；

其中，所述基于所述嘴唇狀態(tài)序列，對(duì)所述判斷結(jié)果進(jìn)行核驗(yàn)，包括：

確定所述音節(jié)特征對(duì)應(yīng)的參考嘴唇狀態(tài)序列；

根據(jù)所述嘴唇狀態(tài)序列與所述參考嘴唇狀態(tài)序列，對(duì)所述判斷結(jié)果進(jìn)行核驗(yàn)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述文本信息、所述聲學(xué)信息以及所述嘴唇狀態(tài)序列，確定所述目標(biāo)語音指令是否屬于人機(jī)交互指令，包括：

獲取所述目標(biāo)語音指令生成時(shí)刻之前預(yù)設(shè)時(shí)間段內(nèi)生成的歷史語音指令；

根據(jù)所述歷史語音指令的判斷結(jié)果、所述文本信息、所述聲學(xué)信息以及所述嘴唇狀態(tài)序列，確定所述目標(biāo)語音指令是否屬于人機(jī)交互指令。

3.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述嘴唇狀態(tài)序列，對(duì)所述判斷結(jié)果進(jìn)行核驗(yàn)，包括：

響應(yīng)于確定所述嘴唇狀態(tài)序列表征嘴唇狀態(tài)發(fā)生變化，確定所述判斷結(jié)果正確。

4.根據(jù)權(quán)利要求1所述的方法，其中，所述基于所述文本信息、所述聲學(xué)信息以及所述嘴唇狀態(tài)序列，確定所述目標(biāo)語音指令是否屬于人機(jī)交互指令，包括：

對(duì)所述文本信息進(jìn)行語義解析以及意圖識(shí)別，確定用戶意圖；

確定所述文本信息屬于句子的概率；

確定所述文本信息對(duì)應(yīng)的文本長度；

確定所述聲學(xué)信息對(duì)應(yīng)的音節(jié)聲學(xué)置信度以及整句聲學(xué)置信度；

所述嘴唇狀態(tài)序列對(duì)應(yīng)的嘴唇狀態(tài)變化結(jié)果；

根據(jù)所述用戶意圖、所述概率、所述文本長度、所述音節(jié)聲學(xué)置信度、所述整句聲學(xué)置信度以及所述嘴唇狀態(tài)變化結(jié)果中的至少一項(xiàng)，確定所述目標(biāo)語音指令是否屬于人機(jī)交互指令。

5.根據(jù)權(quán)利要求1-4任一項(xiàng)所述的方法，其中，所述方法還包括：

響應(yīng)于確定所述目標(biāo)語音指令不屬于人機(jī)交互指令，忽略所述目標(biāo)語音指令。

6.一種人機(jī)交互裝置，包括：

數(shù)據(jù)獲取單元，被配置成獲取來自用戶的目標(biāo)語音指令以及用戶的嘴部圖像序列；

指令分析單元，被配置成對(duì)所述目標(biāo)語音指令進(jìn)行分析，確定對(duì)應(yīng)的文本信息以及聲學(xué)信息，所述聲學(xué)信息包括音節(jié)特征；

圖像分析單元，被配置成對(duì)所述嘴部圖像序列進(jìn)行分析，確定嘴唇狀態(tài)序列；

指令判斷單元，被配置成基于所述文本信息、所述聲學(xué)信息以及所述嘴唇狀態(tài)序列，確定所述目標(biāo)語音指令是否屬于人機(jī)交互指令；

指令響應(yīng)單元，被配置成響應(yīng)于確定所述目標(biāo)語音指令屬于人機(jī)交互指令，對(duì)所述目標(biāo)語音指令進(jìn)行響應(yīng)；

其中，所述指令判斷單元進(jìn)一步被配置成：

將所述文本信息、所述聲學(xué)信息以及預(yù)先訓(xùn)練的判斷模型，確定所述目標(biāo)語音指令的判斷結(jié)果；

響應(yīng)于確定所述判斷結(jié)果指示所述目標(biāo)語音指令屬于人機(jī)交互指令，基于所述嘴唇狀態(tài)序列，對(duì)所述判斷結(jié)果進(jìn)行核驗(yàn)；

所述指令判斷單元進(jìn)一步被配置成：

確定所述音節(jié)特征對(duì)應(yīng)的參考嘴唇狀態(tài)序列；

根據(jù)所述嘴唇狀態(tài)序列與所述參考嘴唇狀態(tài)序列，對(duì)所述判斷結(jié)果進(jìn)行核驗(yàn)。