[發明專利]基于可逆分離卷積的模型訓練方法、裝置和計算機設備

有效

• 申請號: 202010543541.4
• 申請日: 2020-06-15
• 公開（公告）號: CN111428867B
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 徐泓洋;太榮鵬;溫平
• 申請（專利權）人: 深圳市友杰智新科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G10L13/02;G10L15/06;G10L15/16;G10L25/30
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝

本申請涉及基于可逆分離卷積的模型訓練方法，模型包括處理音頻的網絡、處理文本的網絡，處理音頻的網絡和處理文本的網絡均包括可逆分離卷積層，方法包括：獲取處理音頻的網絡計算訓練集中的指定數據對的語音數據，得到的第一高維向量，獲取處理文本的網絡計算指定數據對的文本數據，得到的第二高維向量，其中訓練集由語音數據和文本數據形成的數據對組成，指定數據對為訓練集中的任意數據對；通過損失函數在訓練集上訓練處理音頻的網絡和處理文本的網絡，損失函數為第一高維向量和第二高維向量的空間距離；判斷損失函數是否達到最小值；若是則判定訓練收斂，得到由處理音頻的網絡和處理文本的網絡組成的孿生網絡結構。節省模型構建、訓練成本。

技術領域

本申請涉及到計算機領域，特別是涉及到基于可逆分離卷積的模型訓練方法、裝置和計算機設備。

背景技術

“語音識別”和“語音合成”是成對偶關系的兩個“序列到序列”的預測任務，可采用encoder-decoder框架來建模。由于“語音識別”和“語音合成”的訓練數據不通用，現有的語音識別系統只是做到了將語音信息對齊到文本信息的單向映射，語音合成也是只做到了將文本信息對齊到語音信息的單向映射。由于序列的多樣性，每一個單向映射系統規模都非常大，且訓練系統時所需的數據量也非常大，因此每個單向映射系統的構建和訓練成本都非常高，不利于“語音識別”和“語音合成”系統的普遍推廣使用。

發明內容

本申請的主要目的為提供基于可逆分離卷積的模型訓練方法，旨在解決現有單向映射系統的構建和訓練成本都非常高，不利于“語音識別”和“語音合成”系統的普遍推廣使用的技術問題。

本申請提供了基于可逆分離卷積的模型訓練方法，所述模型包括處理音頻的網絡、處理文本的網絡，所述處理音頻的網絡和所述處理文本的網絡均包括可逆分離卷積層，所述方法包括：

獲取所述處理音頻的網絡計算訓練集中的指定數據對的語音數據，得到的第一高維向量，獲取所述處理文本的網絡計算所述指定數據對的文本數據，得到的第二高維向量，其中，所述訓練集由語音數據和文本數據形成的數據對組成，所述指定數據對為訓練集中的任意數據對；

通過損失函數在所述訓練集上訓練所述處理音頻的網絡和所述處理文本的網絡，其中，所述損失函數為所述第一高維向量和第二高維向量的空間距離；

判斷所述損失函數是否達到最小值；

若是，則判定訓練收斂，得到由所述處理音頻的網絡和所述處理文本的網絡組成的孿生網絡結構。

優選地，所述模型還包括聲紋提取網絡，所述處理音頻的網絡包括串聯連接的第一可逆分離卷積層、第一可逆循環神經網絡層和第一全連接層，所述獲取所述處理音頻的網絡計算訓練集中的指定數據對的語音數據，得到的第一高維向量的步驟，包括：

從所述語音數據中提取聲學特征得到聲學特征矩陣；

將所述聲學特征矩陣輸入所述第一可逆分離卷積層進行前向編碼運算，得到第一計算結果；

將所述第一計算結果輸入所述第一可逆循環神經網絡層進行前向編碼運算，得到第二計算結果；

獲取所述聲紋提取網絡從所述語音數據中提取聲紋信息，并從所述第二計算結果中去除掉所述聲紋信息，得到所述語音數據對應的第三計算結果；

將所述第三計算結果輸入所述第一全連接層，由所述第一全連接層輸出所述第一高維向量。

優選地，所述第一計算結果包括并存的第一結果和第二結果，所述第一結果為所述聲學特征矩陣的特征信息，所述第二結果為恢復所述聲學特征矩陣的保留信息，將所述聲學特征矩陣輸入所述第一可逆分離卷積層進行前向編碼運算，得到第一計算結果的步驟，包括：

將所述聲學特征矩陣按照預設分配方式分成第一數據和第二數據；