[發(fā)明專利]交互權切換方法、裝置、電子設備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202211440711.1
• 申請日: 2022-11-17
• 公開（公告）號: CN115775260A
• 公開（公告）日: 2023-03-10
• 發(fā)明（設計）人: 王慶然;萬根順;熊世富;趙艷軍;吳如松;高建清;潘嘉;劉聰;胡國平;劉慶峰
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G10L15/25;G10L15/22;G06T7/62;G06V40/16;G06T7/70;G06V10/74
• 代理公司: 北京路浩知識產(chǎn)權代理有限公司 11002
• 代理人: 呂偉盼

本發(fā)明提供一種交互權切換方法、裝置、電子設備和存儲介質(zhì)，其中方法包括：確定交互場景下的視頻數(shù)據(jù)，以及視頻數(shù)據(jù)指示的初始交互人員；基于視頻數(shù)據(jù)，確定交互場景下的各個人員的唇部數(shù)據(jù)；在檢測到喚醒詞的情況下，基于喚醒詞對應的語音數(shù)據(jù)，以及各個人員的唇部數(shù)據(jù)，確定輸出喚醒詞的潛在交互人員，在潛在交互人員和初始交互人員為不同人員的情況下，基于潛在交互人員的身份標號，對初始交互人員進行交互權切換，實現(xiàn)了多人場景下的交互權切換，克服了傳統(tǒng)方案中多人交互時，交互權難以轉(zhuǎn)換的缺陷，能夠?qū)Ω鱾€人員進行穩(wěn)定追蹤，實現(xiàn)了潛在交互人員的精準定位，以及交互權的穩(wěn)步切換。

技術領域

本發(fā)明涉及語音交互技術領域，尤其涉及一種交互權切換方法、裝置、電子設備和存儲介質(zhì)。

背景技術

隨著語音識別技術的發(fā)展，其所應用的場景越來越復雜，從最初安靜場景下的普通話識別，至如今高噪聲復雜場景下攜帶口音、小語種、方言等識別，其面臨的挑戰(zhàn)越來越大，環(huán)境越來越惡劣。

目前，多采用多模態(tài)技術去解決高噪聲場景下的識別問題，其使用音視頻信息作為輸入，通過音視頻的融合提升語音識別的準確率，但是，當前的多模態(tài)技術多用于單人場景，如汽車主駕駛?cè)恕⑨t(yī)院自助交互終端等，其在單人場景中應用廣泛；然而，對于開放式的多人場景，如指揮調(diào)度大屏，公共場景下的交互大屏等，此種情況下交互對象往往不止一個，此時單人場景的多模態(tài)技術無法針對不同交互對象進行角色定位，以及據(jù)其交互意愿進行交互權切換。

發(fā)明內(nèi)容

本發(fā)明提供一種交互權切換方法、裝置、電子設備和存儲介質(zhì)，用以解決現(xiàn)有技術中多人交互時，交互權難以轉(zhuǎn)換的缺陷，實現(xiàn)了各個人員的穩(wěn)定追蹤、潛在交互人員的精準定位以及交互權的穩(wěn)步切換。

本發(fā)明提供一種交互權切換方法，包括：

確定交互場景下的視頻數(shù)據(jù)，以及所述視頻數(shù)據(jù)指示的初始交互人員；

基于所述視頻數(shù)據(jù)，確定所述交互場景下的各個人員的唇部數(shù)據(jù)；

在檢測到喚醒詞的情況下，基于所述喚醒詞對應的語音數(shù)據(jù)，以及所述各個人員的唇部數(shù)據(jù)，確定輸出所述喚醒詞的潛在交互人員；

在所述潛在交互人員和所述初始交互人員為不同人員的情況下，基于所述潛在交互人員的身份標號，對所述初始交互人員進行交互權切換。

根據(jù)本發(fā)明提供的一種交互權切換方法，所述基于所述潛在交互人員的身份標號，對所述初始交互人員進行交互權切換，之后還包括：

基于所述視頻數(shù)據(jù)，確定所述潛在交互人員的圖像交互意圖，所述圖像交互意圖包括手勢交互意圖、姿態(tài)交互意圖、動作交互意圖中的至少一種；

和/或，基于所述交互場景下的交互語音，確定所述潛在交互人員的語音交互意圖；

基于所述圖像交互意圖和/或所述語音交互意圖，進行交互。

根據(jù)本發(fā)明提供的一種交互權切換方法，所述基于所述交互場景下的交互語音，確定所述潛在交互人員的語音交互意圖，包括：

基于所述潛在交互人員的唇部數(shù)據(jù)，對所述交互語音進行語音分離和/或語音端點檢測，得到所述潛在交互人員的有效語音；

基于所述潛在交互人員的唇部數(shù)據(jù)，對所述有效語音進行語音識別，并基于語音識別所得的識別文本進行意圖識別，得到所述潛在交互人員的語音交互意圖。

根據(jù)本發(fā)明提供的一種交互權切換方法，所述基于所述潛在交互人員的身份標號，對所述初始交互人員進行交互權切換，之后還包括：

基于所述交互場景下的交互語音，確定目標交互人員的語音交互意圖，所述目標交互人員為處于所述交互場景下，且在所述潛在交互人員之前的預設數(shù)量個交互人員；

基于所述視頻數(shù)據(jù)，確定所述目標交互人員的臉部數(shù)據(jù)；