[發明專利]語音分離方法及裝置、存儲介質、電子裝置

有效

• 申請號: 202110902416.2
• 申請日: 2021-08-06
• 公開（公告）號: CN113593587B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 司馬華鵬;王滿洪;湯毅平
• 申請（專利權）人: 宿遷硅基智能科技有限公司
• 主分類號: G10L19/16
• 分類號: G10L19/16;G10L21/0272;G10L21/055;H04N19/136;H04N19/172;H04N19/30
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 闞夢詩

本申請實施例提供了一種語音分離方法及裝置、存儲介質、電子裝置，所述方法包括：獲取音頻數據和與音頻數據同步采集的至少一組視頻數據，其中，音頻數據中包含至少一個目標角色的混合語音數據；將音頻數據按照時域進行切分，同時將視頻數據轉換為圖像序列后提取圖像特征向量；將切分后的音頻數據和圖像特征向量分別進行編碼后按照時間信息進行融合，得到混合編碼信息；根據混合編碼信息輸出至少一個目標角色的編碼權重；根據至少一個目標角色編碼權重和所述頻數據輸出至少一個目標角色的獨立語音數據。

技術領域

本申請涉及數據處理技術領域，具體而言，涉及一種語音分離方法及裝置、存儲介質、電子裝置。

背景技術

語音分離技術是將一段混合語音中各說話人對應的語音段分離開的技術。在智能會議、雞尾酒會等實際語音識別場景，很多時候系統接收到的語音是多個人同時說話的結果，為了識別每個參與者的說話內容，必須先將各個說話人的語音分離開，然后再根據分離出的結果才能更好地識別出各話者的對應文本。

現有的基于音視頻結合的多模態語音分離技術，同時利用說話人的語音和圖像信息來分離混合后的音頻。其基本思路是：將視頻按一定的幀率切割為靜態的人臉圖像，然后將一定長度的語音與對應長度的圖像一起輸入到編碼器中，再通過解碼器獲取各說話人的mask權重，進而得到各說話人的語音。目前相關技術中的多模態分離技術都是在頻域上處理語音，因而需要先分幀，為了保證語音信號的短時平穩性，幀長需取10-30ms范圍,通常取25ms，為了保證模型效果，一般要做前后幀拼接，通常為前后各4幀，因此數據切分單位通常需要大于100毫秒，特別是結合語音識別做聯合訓練時數據長度需要3秒以上，才能保證模型效果，很難滿足在線場景中的實時分離要求。

針對相關技術中，基于音視頻結合的多模態語音分離技術無法實現實時語音分離的技術問題，尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種語音分離方法及裝置、存儲介質、電子裝置，以至少解決相關技術中基于音視頻結合的多模態語音分離技術無法實現實時語音分離的技術問題。

在本申請的一個實施例中，提出了一種語音分離方法，包括：獲取音頻數據和與所述音頻數據同步采集的至少一組視頻數據，其中，所述音頻數據中包含至少一個目標角色的混合語音數據；將所述音頻數據按照時域進行切分，同時將所述視頻數據轉換為圖像序列后提取圖像特征向量；將切分后的所述音頻數據和所述圖像特征向量分別進行編碼后按照時間信息進行融合，得到混合編碼信息；根據所述混合編碼信息輸出至少一個目標角色的編碼權重；根據至少一個所述目標角色的所述編碼權重和所述音頻數據輸出至少一個所述目標角色的獨立語音數據。

在本申請的一個實施例中，還提出了一種語音分離裝置，包括獲取模塊，配置為獲取音頻數據和與所述音頻數據同步采集的至少一組視頻數據，其中，所述音頻數據中包含至少一個目標角色的混合語音數據；預處理模塊，配置為將所述音頻數據按照時域進行切分，同時將所述視頻數據轉換為圖像序列后提取圖像特征向量；融合模塊，配置為將切分后的所述音頻數據和所述圖像特征向量分別進行編碼后按照時間信息進行融合，得到混合編碼信息；第一輸出模塊，配置為根據所述混合編碼信息輸出至少一個目標角色的編碼權重；第二輸出模塊，配置為根據至少一個所述目標角色的所述編碼權重和所述音頻數據輸出至少一個所述目標角色的獨立語音數據。

在本申請的一個實施例中，還提出了一種計算機可讀的存儲介質，所述存儲介質中存儲有計算機程序，其中，所述計算機程序被設置為運行時執行上述任一項方法實施例中的步驟。

在本申請的一個實施例中，還提出了一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設置為運行所述計算機程序以執行上述任一項方法實施例中的步驟。