[發明專利]基于多層級知識蒸餾預訓練語言模型自動壓縮方法及平臺

有效

• 申請號: 202011498328.2
• 申請日: 2020-12-17
• 公開（公告）號: CN112241455B
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 王宏升;王恩平;俞再亮
• 申請（專利權）人: 之江實驗室
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

本發明公開了一種基于多層級知識蒸餾的預訓練語言模型自動壓縮方法及平臺，所述方法包括如下步驟：步驟一、構建多層級知識蒸餾，在自注意力單元、隱藏層狀態、嵌入層三個不同層級上蒸餾大模型的知識結構；步驟二、訓練元學習的知識蒸餾網絡，生成多種預訓練語言模型的通用壓縮架構；步驟三、基于進化算法搜索最佳壓縮結構。首先，研究基于元學習的知識蒸餾生成多種預訓練語言模型的通用壓縮架構；其次，在已訓練好的元學習網絡基礎上，通過進化算法搜索最佳壓縮結構，由此得到與任務無關的預訓練語言模型的最優通用壓縮架構。

技術領域

本發明屬于語言模型壓縮領域，尤其涉及一種基于多層級知識蒸餾的預訓練語言模型自動壓縮方法及平臺。

背景技術

大規模預訓練語言模型在自然語言理解和生成任務上都取得了優異的性能，然而，將具有海量參數的預訓練語言模型部署到內存有限的設備中仍然面臨巨大挑戰。在模型壓縮領域，已有的語言模型壓縮方法都是針對特定任務的語言模型壓縮。面向下游其它任務時，使用特定任務知識蒸餾生成的預訓練模型仍需要重新微調大模型以及生成相關的大模型知識。大模型微調費時費力，計算成本也很高。為了提高壓縮模型面向多種下游任務使用過程中的靈活性和有效性，研究與任務無關的預訓練語言模型的通用壓縮架構。而且，已有的知識蒸餾方法主要是人工設計的知識蒸餾策略。由于受計算資源等限制，人工設計所有可能的蒸餾結構并且尋找最優結構幾乎不可能。受神經網絡架構搜索的啟發，尤其是在少樣本的情況下，本發明基于多層級知識蒸餾生成面向多任務的預訓練語言模型的通用壓縮架構。

發明內容

本發明的目的在于針對現有技術的不足，提供一種基于多層級知識蒸餾的預訓練語言模型自動壓縮方法及平臺。本發明首先構建一種多層級的知識蒸餾，在不同層級上蒸餾大模型的知識結構。而且，引入元學習，生成多種預訓練語言模型的通用壓縮架構。具體地，設計一種結構生成器的元網絡，基于多層級知識蒸餾方法構建知識蒸餾編碼向量，利用該結構生成器生成與當前輸入的編碼向量對應的蒸餾結構模型。同時，提出伯努利分布采樣的方法訓練結構生成器。每輪迭代時，利用伯努利分布采樣各個編碼器遷移的自注意力單元，組成對應的編碼向量。通過改變輸入結構生成器的編碼向量和小批次的訓練數據，聯合訓練結構生成器和對應的蒸餾結構，可以學得能夠為不同蒸餾結構生成權重的結構生成器。同時，在已訓練好的元學習網絡基礎上，通過進化算法搜索最佳壓縮結構，由此得到與任務無關的預訓練語言模型的最優通用壓縮架構。

本發明的目的是通過以下技術方案實現的：

一種基于多層級知識蒸餾的預訓練語言模型自動壓縮方法，包括如下步驟：

步驟一、構建多層級知識蒸餾，在自注意力單元、隱藏層狀態、嵌入層三個不同層級上蒸餾大模型的知識結構；

步驟二、訓練元學習的知識蒸餾網絡，生成多種預訓練語言模型的通用壓縮架構；

步驟三、基于進化算法搜索最優壓縮結構。

進一步的，步驟二中設計一種結構生成器的元網絡，基于步驟一的多層級知識蒸餾構建知識蒸餾編碼向量，利用結構生成器生成與當前輸入的編碼向量對應的蒸餾結構模型；同時，采用伯努利分布采樣的方法訓練結構生成器，每輪迭代時，利用伯努利分布采樣各個編碼器遷移的自注意力單元，組成對應的編碼向量；通過改變輸入結構生成器的編碼向量和小批次的訓練數據，聯合訓練結構生成器和對應的蒸餾結構，得到為不同蒸餾結構生成權重的結構生成器。

進一步的，步驟三中在已訓練好的元學習網絡基礎上，通過進化算法搜索最優壓縮架構，得到與任務無關的預訓練語言模型的最優通用壓縮架構。

進一步的，步驟一中將自注意力分布知識、隱藏狀態知識和嵌入層知識編碼為一個蒸餾網絡，采用知識蒸餾實現大模型向小模型的壓縮。

進一步的，步驟一中包括自注意力知識蒸餾、隱藏層狀態知識蒸餾和嵌入層知識蒸餾。