[發(fā)明專利]基于知識蒸餾的多層神經網絡語言模型訓練方法與裝置

有效

• 申請?zhí)枺?/td>: 202010322267.8
• 申請日: 2020-04-22
• 公開（公告）號: CN111611377B
• 公開（公告）日: 2021-10-29
• 發(fā)明（設計）人: 高尚兵;李文婷;李偉;王通陽;姚寧波;周泓;朱全銀;相林;于坤;陳曉兵;張正偉
• 申請（專利權）人: 淮陰工學院
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/289;G06F40/30;G06F40/211;G06N3/04;G06N3/08;G06N5/02
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 孟紅梅

1.一種基于知識蒸餾的多層神經網絡語言模型訓練方法，其特征在于，包括以下步驟：

(1)構建BERT語言模型和多層BILSTM模型作為教師模型和學生模型，其中所構建的BERT語言模型中有六層transformer，多層BILSTM模型中有三層BILSTM網絡；

(2)將文本語料集進行預處理后，對BERT語言模型進行訓練得到訓練好的教師模型；

(3)將預處理后的文本語料集輸入到多層BILSTM模型，對學生模型進行訓練，在學生模型訓練時學習教師模型分別在嵌入層、隱藏層以及輸出層的信息，通過線性變換將不同空間表示進行計算，結合教師模型與學生模型的嵌入層向量輸出的MSE均方誤差、學生模型每一層隱藏層輸出與教師模型與之對應的每層transformer中的輸出的MSE均方誤差、以及教師模型與學生模型softmax層輸出的概率分布的交叉熵作為知識蒸餾的目標損失函數；最后得到訓練好的學生模型。

2.根據權利要求1所述的基于知識蒸餾的多層神經網絡語言模型訓練方法，其特征在于，所述知識蒸餾的目標損失函數為：

其中，s_e與t_e分別代表學生模型與教師模型的嵌入表示，s_h與t_2h-1分別代表學生模型第h層的隱藏層與教師模型第2h-1層的隱藏層的輸出，s_p與t_p分別代表學生模型與教師模型預測的logits輸出，λ_e、λ_hid和λ_pre分別代表著不同層的重要程度，L_emb、L_hid和L_pre分別代表著不同層的損失計算函數。

3.根據權利要求2所述的基于知識蒸餾的多層神經網絡語言模型訓練方法，其特征在于，教師模型與學生模型在嵌入層的損失計算公式為：

L_emb(s_e，t_e)＝MSE(s_eW_e,t_e)

其中，MSE表示均方誤差，W_e表示線性變換矩陣。

4.根據權利要求2所述的基于知識蒸餾的多層神經網絡語言模型訓練方法，其特征在于，教師模型與學生模型在隱藏層的損失計算公式為：

L_hid(s_h，t_2h-1)＝MSE(s_hW_h,t_2h-1)

其中，MSE表示均方誤差，W_h表示線性變換矩陣。

5.根據權利要求2所述的基于知識蒸餾的多層神經網絡語言模型訓練方法，其特征在于，教師模型與學生模型在輸出層的損失計算公式為：

L_pre(s_p,t_p)＝-softmax(t_p)·log_softmax(s_p/Tem)

其中，log_softmax表示對數似然，Tem表示溫度值。

6.一種基于知識蒸餾的文本分類方法，其特征在于，所述文本分類方法利用根據權利要求1-5任一項所述的基于知識蒸餾的多層神經網絡語言模型訓練方法得到的訓練好的學生模型，將文本數據轉換為向量表示輸入至一種神經網絡模型進行文本分類，或輸入至多種神經網絡模型進行特征融合后進行文本分類。

7.一種計算裝置，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述計算機程序被加載至處理器時實現根據權利要求1-5任一項所述的基于知識蒸餾的多層神經網絡語言模型訓練方法或實現權利要求6所述的基于知識蒸餾的文本分類方法。