[發明專利]交互權切換方法、裝置、電子設備和存儲介質

在審

• 申請號: 202211440711.1
• 申請日: 2022-11-17
• 公開（公告）號: CN115775260A
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 王慶然;萬根順;熊世富;趙艷軍;吳如松;高建清;潘嘉;劉聰;胡國平;劉慶峰
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G10L15/25;G10L15/22;G06T7/62;G06V40/16;G06T7/70;G06V10/74
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 呂偉盼

1.一種交互權切換方法，其特征在于，包括：

確定交互場景下的視頻數據，以及所述視頻數據指示的初始交互人員；

基于所述視頻數據，確定所述交互場景下的各個人員的唇部數據；

在檢測到喚醒詞的情況下，基于所述喚醒詞對應的語音數據，以及所述各個人員的唇部數據，確定輸出所述喚醒詞的潛在交互人員；

在所述潛在交互人員和所述初始交互人員為不同人員的情況下，基于所述潛在交互人員的身份標號，對所述初始交互人員進行交互權切換。

2.根據權利要求1所述的交互權切換方法，其特征在于，所述基于所述潛在交互人員的身份標號，對所述初始交互人員進行交互權切換，之后還包括：

基于所述視頻數據，確定所述潛在交互人員的圖像交互意圖，所述圖像交互意圖包括手勢交互意圖、姿態交互意圖、動作交互意圖中的至少一種；

和/或，基于所述交互場景下的交互語音，確定所述潛在交互人員的語音交互意圖；

基于所述圖像交互意圖和/或所述語音交互意圖，進行交互。

3.根據權利要求2所述的交互權切換方法，其特征在于，所述基于所述交互場景下的交互語音，確定所述潛在交互人員的語音交互意圖，包括：

基于所述潛在交互人員的唇部數據，對所述交互語音進行語音分離和/或語音端點檢測，得到所述潛在交互人員的有效語音；

基于所述潛在交互人員的唇部數據，對所述有效語音進行語音識別，并基于語音識別所得的識別文本進行意圖識別，得到所述潛在交互人員的語音交互意圖。

4.根據權利要求1至3中任一項所述的交互權切換方法，其特征在于，所述基于所述潛在交互人員的身份標號，對所述初始交互人員進行交互權切換，之后還包括：

基于所述交互場景下的交互語音，確定目標交互人員的語音交互意圖，所述目標交互人員為處于所述交互場景下，且在所述潛在交互人員之前的預設數量個交互人員；

基于所述視頻數據，確定所述目標交互人員的臉部數據；

基于所述目標交互人員的臉部數據和語音交互意圖，進行交互。

5.根據權利要求1至3中任一項所述的交互權切換方法，其特征在于，所述基于所述潛在交互人員的身份標號，對所述初始交互人員進行交互權切換，之后還包括：

獲取所述潛在交互人員的聲源定位結果，以及視覺定位結果；

基于所述聲源定位結果，以及所述視覺定位結果，對所述潛在交互人員進行定向追蹤；

所述聲源定位結果基于所述交互場景下的麥克風陣列對所述潛在交互人員進行聲源定位得到，所述視覺定位結果基于所述交互場景下的攝像頭對所述潛在交互人員進行視覺定位得到。

6.根據權利要求1至3中任一項所述的交互權切換方法，其特征在于，所述基于所述視頻數據，確定所述交互場景下的各個人員的唇部數據，包括：

基于所述視頻數據中的各幀圖像進行人體追蹤，得到所述交互場景下的各個人員在所述各幀圖像中的人體區域；

對各個人體區域進行人臉檢測，得到所述各個人員在所述各幀圖像中的人臉區域，并對各個人臉區域進行關鍵點檢測，得到各個人員在各幀圖像中的唇部數據。

7.根據權利要求6所述的交互權切換方法，其特征在于，所述基于所述視頻數據中的各幀圖像進行人體追蹤，得到所述交互場景下的各個人員在所述各幀圖像中的人體區域，包括：

基于所述視頻數據中的各幀圖像進行人體檢測，得到所述各幀圖像中的人體區域；

基于相鄰幀圖像中各個人體區域的重疊面積，對所述各個人體區域所對應的各個人員進行人體追蹤，得到所述交互場景下的各個人員在所述各幀圖像中的人體區域。