[發明專利]車載端的語音端點檢測方法、裝置和計算機設備

有效

• 申請號: 201910740881.3
• 申請日: 2019-08-12
• 公開（公告）號: CN110428854B
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 楊柳
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G10L25/87
• 分類號: G10L25/87
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 黃曉慶

1.一種車載端的語音端點檢測方法，其特征在于，所述方法包括：

獲取車載端的當前車載網絡狀況和待檢測的語音數據流；

當確定所述當前車載網絡狀況中包括的當前車輛網速不超過預設的網速閾值時，根據所述語音數據流中每個語音幀的特征及每個所述語音幀的上下關聯幀的特征，組合得到每個所述語音幀各自對應的語音特征向量；所述語音特征向量的維度為對應語音幀的特征及上下關聯幀的特征的維度和；

通過車載端的語音端點檢測模型對所述語音特征向量進行語音端點分析，得到語音端點分析結果，所述語音端點檢測模型基于在不同環境中得到的語音訓練數據訓練得到；所述語音訓練數據包括預設數量占比的無噪語音數據、車載環境語音數據、室內噪聲語音數據和異常語音數據；所述語音端點檢測模型的訓練步驟包括：通過待訓練的語音端點檢測模型對所述語音訓練數據進行語音端點分析，根據獲得的訓練數據分析結果與所述語音訓練數據的標注結果，對所述待訓練的語音端點檢測模型進行參數調整后繼續進行訓練，在滿足訓練結束條件時獲得訓練完成的語音端點檢測模型；基于檢測精確判定條件、檢測損失判定條件和檢測有誤判定條件，對所述訓練完成的語音端點檢測模型進行模型檢測，檢測通過后得到所述語音端點檢測模型；

根據所述語音端點分析結果確定所述語音數據流中的語音端點，得到語音端點檢測結果；

當確定所述當前車載網絡狀況滿足預設的模型更新條件時，對車載端的所述語音端點檢測模型進行更新。

2.根據權利要求1所述的方法，其特征在于，所述當確定所述當前車載網絡狀況中包括的當前車輛網速不超過預設的網速閾值時，根據所述語音數據流中每個語音幀及每個所述語音幀的上下關聯幀的特征，組合得到每個所述語音幀各自對應的語音特征向量，包括：

比較所述當前車載網絡狀況中包括的當前車輛網速和預設的網速閾值；

當所述當前車輛網速不超過所述網速閾值時，將所述語音數據流分幀，得到各語音幀；

提取各所述語音幀及所述語音幀的上下關聯幀的特征，組合得到各所述語音幀對應的語音特征向量。

3.根據權利要求1所述的方法，其特征在于，在所述獲取車載端的當前車載網絡狀況和待檢測的語音數據流之后，還包括：

當確定所述當前車載網絡狀況滿足預設的在線檢測條件時，將所述語音數據流上傳至服務器，以使所述服務器通過服務器端的語音端點檢測模型對所述語音數據流進行端點檢測；

接收所述服務器下發的所述語音數據流對應的語音端點檢測結果。

4.根據權利要求1所述的方法，其特征在于，所述語音端點檢測模型通過以下步驟得到：

按第一比例根據所述無噪語音數據、所述車載環境語音數據、所述室內噪聲語音數據和所述異常語音數據，確定訓練數據集，并按第二比例從所述訓練數據集中抽取數據，得到驗證數據集；

通過所述訓練數據集和所述驗證數據集訓練深度學習神經網絡，得到訓練完成的語音端點檢測模型。

5.根據權利要求4所述的方法，其特征在于，所述按第一比例根據所述無噪語音數據、所述車載環境語音數據、所述室內噪聲語音數據和所述異常語音數據，確定訓練數據集包括：

按照訓練數據總量和第一比例從所述無噪語音數據、所述車載環境語音數據、所述室內噪聲語音數據和所述異常語音數據中，確定訓練數據；

對所述訓練數據中的各訓練數據幀進行標注，并基于標注后的各訓練數據幀構建訓練數據集。

6.根據權利要求4所述的方法，其特征在于，在所述得到訓練完成的語音端點檢測模型之后，還包括：

獲取攜帶人工標注語音端點的測試數據集；

通過所述語音端點檢測模型對所述測試數據集中的測試數據進行語音端點分析，得到語音端點分析結果，并根據所述語音端點分析結果確定所述測試數據中的測試語音端點；

分別按照檢測精確判定條件、檢測損失判定條件和檢測有誤判定條件，對所述測試數據的人工標注語音端點和所述測試語音端點進行比較，得到模型檢測結果。