[發明專利]基于多層級知識蒸餾預訓練語言模型自動壓縮方法及平臺

有效

• 申請號: 202011498328.2
• 申請日: 2020-12-17
• 公開（公告）號: CN112241455B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 王宏升;王恩平;俞再亮
• 申請（專利權）人: 之江實驗室
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

1.一種基于多層級知識蒸餾的預訓練語言模型自動壓縮方法，包括如下步驟：

步驟一、構建多層級知識蒸餾，在自注意力單元、隱藏層狀態、嵌入層三個不同層級上蒸餾大模型的知識結構；

步驟二、訓練元學習的知識蒸餾網絡，生成多種預訓練語言模型的通用壓縮架構；

步驟二中訓練元學習的知識蒸餾網絡為：設計一種結構生成器的元網絡，基于步驟一的多層級知識蒸餾構建知識蒸餾編碼向量，利用結構生成器生成與當前輸入的知識蒸餾編碼向量對應的蒸餾結構模型；同時，采用伯努利分布采樣的方法訓練結構生成器，每輪迭代時，利用伯努利分布采樣各個編碼器遷移的自注意力單元，組成對應的知識蒸餾編碼向量；通過改變輸入結構生成器的知識蒸餾編碼向量和小批次的訓練數據，聯合訓練結構生成器和對應的蒸餾結構，得到為不同蒸餾結構生成權重的結構生成器；

步驟三、基于進化算法搜索最優壓縮架構；

所述進化算法的具體步驟如下：

步驟1、將知識蒸餾編碼向量定義為蒸餾結構模型的基因G，隨機選取滿足約束條件C的一系列基因作為初始種群；

步驟2、評估現有種群中各個基因G對應的蒸餾結構模型在驗證集上的推理精度accuracy，選取精度最高的前k個基因；

步驟3、利用步驟二選取的精度最高的前k個基因進行基因重組和基因變異生成新的基因，將新基因加入現有種群中；

步驟4、重復迭代N輪步驟二和步驟三，選擇現有種群中前k個精度最高的基因并生成新基因，直到獲得滿足約束條件C并且精度最高的基因。

2.如權利要求1所述的基于多層級知識蒸餾的預訓練語言模型自動壓縮方法，其特征在于：步驟三中在已訓練好的元學習網絡基礎上，通過進化算法搜索最優壓縮架構，得到與任務無關的預訓練語言模型的最優通用壓縮架構。

3.如權利要求1所述的基于多層級知識蒸餾的預訓練語言模型自動壓縮方法，其特征在于：

步驟一中將自注意力分布知識、隱藏層狀態知識和嵌入層知識編碼為一個蒸餾網絡，采用知識蒸餾實現大模型向小模型的壓縮。

4.如權利要求3所述的基于多層級知識蒸餾的預訓練語言模型自動壓縮方法，其特征在于：

步驟一中所述多層級知識蒸餾包括自注意力知識蒸餾、隱藏層狀態知識蒸餾和嵌入層知識蒸餾。