[發明專利]一種bert模型壓縮加速的方法、系統、設備及介質

在審

• 申請號: 202011438005.4
• 申請日: 2020-12-10
• 公開（公告）號: CN112613614A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 王曦輝
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N5/04
• 分類號: G06N5/04;G06N20/20
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 張濤;陳黎明

1.一種bert模型壓縮加速的方法，其特征在于，包括以下步驟：

構建第一學生模型，使用通用數據集訓練所述第一學生模型，并基于基準bert模型將所述第一學生模型轉化為預訓練bert模型；

構建第二學生模型，使用自然語言任務數據集訓練所述第二學生模型，并基于所述預訓練bert模型將所述第二學生模型轉換為偽量化模型；以及

將所述偽量化模型轉換成量化模型，并對所述量化模型的算子進行合并以生成推理引擎。

2.根據權利要求1所述的方法，其特征在于，所述基于基準bert模型將所述第一學生模型轉化為預訓練bert模型包括：

將基準bert模型作為老師模型，構建所述老師模型和所述第一學生模型之間對應層蒸餾的目標代價函數，最小化所述目標代價函數以將所述第一學生模型轉化為預訓練bert模型。

3.根據權利要求1所述的方法，其特征在于，所述將所述偽量化模型轉換成量化模型包括：

對所述偽量化模型進行解析以獲得偽量化節點，將所述偽量化節點轉換為量化節點和反量化節點。

4.根據權利要求1所述的方法，其特征在于，所述對所述量化模型的算子進行合并以生成推理引擎包括：

對矩陣乘法中的權重進行量化以生成包括比例系數的新權重，提取所述比例系數并與下一個輸入量化層的量化系數進行合并。

5.一種bert模型壓縮加速的方法，其特征在于，包括：

第一訓練模塊，配置用于構建第一學生模型，使用通用數據集訓練所述第一學生模型，并基于基準bert模型將所述第一學生模型轉化為預訓練bert模型；

第二訓練模塊，配置用于構建第二學生模型，使用自然語言任務數據集訓練所述第二學生模型，并基于所述預訓練bert模型將所述第二學生模型轉換為偽量化模型；以及

量化模塊，配置用于將所述偽量化模型轉換成量化模型，并對所述量化模型的算子進行合并以生成推理引擎。

6.根據權利要求5所述的系統，其特征在于，所述第一訓練模塊配置用于：

將基準bert模型作為老師模型，構建所述老師模型和所述第一學生模型之間對應層蒸餾的目標代價函數，最小化所述目標代價函數以將所述第一學生模型轉化為預訓練bert模型。

7.根據權利要求5所述的系統，其特征在于，所述量化模塊配置用于：

對所述偽量化模型進行解析以獲得偽量化節點，將所述偽量化節點轉換為量化節點和反量化節點。

8.根據權利要求5所述的系統，其特征在于，所述量化模塊配置用于：

對矩陣乘法中的權重進行量化以生成包括比例系數的新權重，提取所述比例系數并與下一個輸入量化層的量化系數進行合并。

9.一種計算機設備，其特征在于，包括：

至少一個處理器；以及

存儲器，所述存儲器存儲有可在所述處理器上運行的計算機指令，所述指令由所述處理器執行時實現權利要求1-4任意一項所述方法的步驟。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1-4任意一項所述方法的步驟。