[發明專利]語音端點檢測方法、裝置、電子設備和存儲介質

在審

• 申請號: 202110705850.1
• 申請日: 2021-06-24
• 公開（公告）號: CN113345423A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 王慶然;萬根順;高建清;劉聰;王智國;胡國平
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/18;G10L25/24;G10L25/30;G10L25/87
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 程琛

本發明提供一種語音端點檢測方法、裝置、電子設備和存儲介質，其中方法包括：獲取語音數據流中各語音幀的語音特征和聲學狀態后驗特征；對各語音幀的語音特征和聲學狀態后驗特征進行融合，得到各語音幀的語義融合特征；基于各語音幀的語義融合特征，對所述語音數據流進行語音端點檢測。本發明提供的方法、裝置、電子設備和存儲介質，通過融合各語音幀的語音特征和聲學狀態后驗特征進行語音端點檢測，能夠提高語音端點檢測的抗干擾能力，過濾無具體語義或者語義無關的語音片段，避免誤觸發導致人機交互過程提前中斷的問題。其中，聲學狀態后驗特征中語義信息的應用，極大減低了計算量，保證了端點檢測的實時性和低延遲性的需求。

技術領域

本發明涉及語音交互技術領域，尤其涉及一種語音端點檢測方法、裝置、電子設備和存儲介質。

背景技術

為了實現基于語音的人機交互功能，通常會通過語音端點檢測(Voice ActivityDetection，VAD)技術識別一段語音中的語音端點，由此得到有效語音段以執行后續操作。

相較于傳統VAD技術，人機對話場景下的VAD難點在于不僅需要更準確地過濾掉人聲無關的噪聲，還需要根據用戶回答的語義內容過濾掉沒有明確語義信息或者和當前場景內容無關的回答內容，對其不做響應。

目前的VAD技術僅能夠對于人聲/非人聲進行檢測，并不能分析語音中包含的語義信息，在后續語音處理中可能會引入大量無意義的內容，會增加系統運行延時和不必要的功耗。另外，如果用戶在發言過程中發生停頓，目前的VAD技術無法判斷用戶是否表意完整，可能會提前觸發交互中斷，影響交互體驗。

發明內容

本發明提供一種語音端點檢測方法、裝置、電子設備和存儲介質，用以解決現有技術中語音端點檢測僅能夠對于人聲/非人聲進行檢測，導致運行延時、功耗增加和交互提前中斷的問題。

本發明提供一種語音端點檢測方法，包括：

獲取語音數據流中各語音幀的語音特征和聲學狀態后驗特征；

對各語音幀的語音特征和聲學狀態后驗特征進行融合，得到各語音幀的語義融合特征；

基于各語音幀的語義融合特征，對所述語音數據流進行語音端點檢測。

根據本發明提供的一種語音端點檢測方法，所述獲取語音數據流中各語音幀的語音特征和聲學狀態后驗特征，包括：

以所述語音數據流中任一語音幀為中心，從所述語音數據流中提取預設長度的語音幀序列，作為所述任一語音幀的參考序列；

基于所述任一語音幀的參考序列，確定所述任一語音幀的語音特征和聲學狀態后驗特征。

根據本發明提供的一種語音端點檢測方法，所述對各語音幀的語音特征和聲學狀態后驗特征進行融合，得到各語音幀的語義融合特征，包括：

基于壓縮編碼器，對各語音幀的語音特征和聲學狀態后驗特征進行融合壓縮，得到各語音幀的語義融合特征；

所述壓縮編碼器是與解碼器聯合訓練得到的，所述解碼器用于還原經過所述壓縮編碼器壓縮的特征。

根據本發明提供的一種語音端點檢測方法，所述壓縮編碼器是基于如下步驟確定的：

確定初始模型，所述初始模型包括通過注意力機制連接的編碼器和解碼器；

以輸入所述初始模型的樣本特征和所述初始模型輸出的還原特征一致為目標，訓練所述初始模型，并將訓練完成的初始模型中的編碼器作為所述壓縮編碼器。

根據本發明提供的一種語音端點檢測方法，所述基于各語音幀的語義融合特征，對所述語音數據流進行語音端點檢測，包括：

基于各語音幀的語義融合特征，以及各語音幀的前后語音幀的語義融合特征，確定各語音幀的靜音檢測結果；