[發明專利]基于參數稀疏共享的中國方言語種分類系統

在審

• 申請號: 202110497757.6
• 申請日: 2021-05-08
• 公開（公告）號: CN113190678A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 任杰;萬苗;馬苗;田豐
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/205;G06N3/04;G06N3/08;G10L15/00;G10L15/16
• 代理公司: 西安西達專利代理有限責任公司 61202
• 代理人: 劉華

1.基于參數稀疏共享的中國方言語種分類系統，其特征在于，包括有特征提取模塊、基礎網絡訓練模塊、子任務網絡訓練模塊、聯合訓練模塊、標簽輸出模塊；所述特征提取模塊用于原始音頻預處理及音頻的MFCC特征提取；所述基礎網絡訓練模塊，是針對MFCC特征建立相應的基于長短期記憶網絡，并以此作為基礎網絡，通過不同方言數據訓練集，訓練基礎網絡結構；所述子任務網絡訓練模塊，選擇子任務，使用迭代裁剪方法依次對所述子任務進行裁剪并保留最優網絡結構；所述聯合訓練模塊用于將子任務網絡及基礎網絡集成形成基于稀疏共享機制的網絡模型，輸入各個任務數據更新基于稀疏共享機制的網絡模型對應的網絡參數并保存模型；所述輸出模塊用于將語音特征輸入至基于稀疏共享機制的網絡模型并輸出語種預測結果。

2.根據權利要求1所述的基于參數稀疏共享的中國方言語種分類系統，其特征在于，所述特征提取模塊包括:

1)預處理原始音頻數據，將原始語音裁剪縮短或通過復制擴充至統一時長2秒；

2)對統一時長的語音預加重、加窗、分幀、傅里葉變換、Mel濾波器組處理、取對數、DCT離弦變換后，最終獲取原始音頻的MFCC特征。

3.根據權利要求1所述的基于參數稀疏共享的中國方言語種分類系統，其特征在于，所述基礎網絡訓練模塊，該模塊建立基于MFCC特征搭建CNN_LSTM網絡。所述網絡最后一層為所述子任務各自的輸出層。

4.根據權利要求3所述的基于參數稀疏共享的中國方言語種分類系統，其特征在于，所述基礎網絡訓練模塊所述子任務各自的輸出層均為全連接層，輸出大小為子任務分類類別。

5.根據權利要求1所述的基于參數稀疏共享的中國方言語種分類系統，其特征在于，所述子任務網絡訓練模塊，該模塊子任務為方言語種分類任務及方言區域分類任務所述迭代裁剪方法，設定最低參數保留率thred(α)或迭代的最大輪數作為迭代終止的界限，當保留率α小于最低保留率thred(α)或迭代輪數大于迭代的最大輪數則完成迭代，每輪計算裁剪率pruning_rate，pruning_rate指每輪將被裁剪的參數與當前網絡保留參數總數的比值，其計算公式為按裁剪率對網絡進行裁剪，至此，網絡被裁剪的參數總數total_m發生變化，統計參數狀態并更新裁剪參數總數total_m，進一步更新參數保留率α，更新公式為α＝1-round(100.0*total_m/total_params,2),total_params為參數總數，round()函數對結果進行四舍五入操作，2為結果保留的小數點后的位數；對裁剪后的網絡進行訓練并保存其準確率、參數及其留存狀態，選取準確率最高的網絡作為所述子任務網絡。

6.根據權利要求5所述的基于參數稀疏共享的中國方言語種分類系統，其特征在于，所述參數保留率α指保留參數與參數總數的比值，thred(α)為最低參數保留率，其值為10％，所述迭代輪數為裁剪次數，最大迭代輪數為10；所述參數狀態使用二進制掩碼矩陣M∈{0,1}存儲，二進制掩碼矩陣M對應值表示參數是否保存。其中對應M值為1表示參數保留，對應M值為0表示參數被裁剪。

7.根據權利要求1所述的基于參數稀疏共享的中國方言語種分類系統，其特征在于，所述聯合訓練模塊包括：

1)加載子任務對應的M矩陣及子任務各自數據集；

2)加載所述基礎網絡，交叉輸入子任務數據集，輸入前加載步驟所述子任務M矩陣進行參數更新；

3)保存模型。

8.根據權利要求7所述的基于參數稀疏共享的中國方言語種分類系統，其特征在于，所述聯合訓練模塊，所述子任務數據集分別由方言語種分類數據集和方言區域分類數據集構成，其中方言語種分類數據集由特征及方言語種標簽構成，方言區域分類數據集由特征及方言區域標簽構成。所述輸出模塊，該模塊將測試集語音特征輸入至聯合訓練模塊所述的網絡模型中，輸出對應的方言語種。