[發明專利]語義預測網絡的訓練方法、裝置、設備以及存儲介質

有效

• 申請號: 202011104612.7
• 申請日: 2020-10-15
• 公開（公告）號: CN112233664B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 陳立;鄒賽賽
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/16;G10L15/02;G10L15/22;G10L15/26
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本公開實施例公開了語義預測網絡的訓練方法、裝置、設備以及存儲介質，涉及深度學習和語音分析等人工智能技術領域。其中，語義預測網絡包括：編碼器網絡和至少一個解碼器網絡，編碼器網絡包括卷積層和長短期記憶網絡層；至少一個解碼器網絡的每一個解碼器網絡對應一個域，域與場景指令中的槽位相對應；具體方案為：獲取目標語音樣本的第一語音特征；其中，目標語音樣本為合成語音樣本或真實語音樣本，合成語音樣本附有樣本音節標簽和包括域的值的語義標簽，真實語義樣本附有樣本音節標簽；采用目標語音樣本的第一語音特征對初始的語義預測網絡和音節分類網絡進行聯合訓練，得到已訓練的語義預測網絡。

技術領域

本公開實施例涉及計算機技術領域，具體涉及深度學習和語音分析等人工智能技術領域，尤其涉及語義預測網絡的訓練方法、裝置、設備以及存儲介質。

背景技術

隨著語音技術日漸成熟，越來越多家電設備都開始支持語音控制，智能家居開始真正走入人們的家庭。而芯片端的語音識別方案，成為我們面臨的一個新挑戰。

目前，語音識別技術基本上都是基于傳統的三級級聯方案。即聲學模型，語言模型和語義模型進行分級串聯，來實現語音到文本再到語義的轉化。且在聲學到文本轉化的過程中，需要通過集束搜索/束搜索(beam search)或者加權有限狀態轉換器(weightedfinite-state transducer，wfst)等方式進行解碼來將語音和語言信息進行融合，以實現語音識別。

發明內容

本公開實施例提出了語義預測網絡的訓練方法、裝置、設備以及存儲介質。

第一方面，本公開實施例提出了一種語義預測網絡的訓練方法，其中，初始的語義預測網絡包括：編碼器網絡和至少一個解碼器網絡，編碼器網絡包括卷積層和長短期記憶網絡層；至少一個解碼器網絡的每一個解碼器網絡對應一個域，域與場景指令中的槽位相對應；該語義預測網絡的訓練方法還包括：獲取目標語音樣本的第一語音特征；其中，目標語音樣本為合成語音樣本或真實語音樣本，合成語音樣本附有樣本音節標簽和包括域的值的語義標簽，真實語義樣本附有樣本音節標簽；將第一語音特征輸入卷積層，將卷積層的輸出特征輸入至長短期記憶網絡層，將長短期記憶網絡層輸出的第一中間特征輸入至少一個解碼器網絡中的每一個解碼器網絡，將與第一語音特征對應的語義標簽作為至少一個解碼器網絡的輸出，將第一中間特征作為音節分類網絡的輸入，將與第一語音特征對應的樣本音節標簽作為音節分類網絡的輸出，聯合訓練初始的語義預測網絡和音節分類網絡，得到已訓練的語義預測網絡。

第二方面，本公開實施例提出了一種語義識別方法，包括：獲取待識別語音信號；將待識別語音信號輸入第一方面所述的方法訓練的已訓練的語義預測網絡，得到待識別語音信號的語義標簽。

第三方面，本公開實施例提出了一種語義預測網絡的訓練裝置，其中初始的語義預測網絡包括：編碼器網絡和至少一個解碼器網絡，編碼器網絡包括卷積層和長短期記憶網絡層；至少一個解碼器網絡的每一個解碼器網絡對應一個域，域與場景指令中的槽位相對應；該語義預測網絡的訓練裝置包括：樣本獲取模塊，被配置為獲取目標語音樣本的第一語音特征；其中，目標語音樣本為合成語音樣本或真實語音樣本，合成語音樣本附有樣本音節標簽和包括域的值的語義標簽，真實語義樣本附有樣本音節標簽；聯合訓練模塊，被配置為將第一語音特征輸入卷積層，將卷積層的輸出特征輸入至長短期記憶網絡層，將長短期記憶網絡層輸出的第一中間特征輸入至少一個解碼器網絡中的每一個解碼器網絡，將與第一語音特征對應的語義標簽作為至少一個解碼器網絡的輸出，將第一中間特征作為音節分類網絡的輸入，將與第一語音特征對應的樣本音節標簽作為音節分類網絡的輸出，聯合訓練初始的語義預測網絡和音節分類網絡，得到已訓練的語義預測網絡。

第四方面，本公開實施例提出了一種語義識別裝置，該語義識別裝置包括：語音獲取模塊，被配置為獲取待識別語音信號；標簽預測模塊，被配置為將待識別語音信號輸入第一方面所述的方法訓練的已訓練的語義預測網絡，得到待識別語音信號的語義標簽。