[發明專利]基于張量分解的模型壓縮方法、裝置和服務器

在審

• 申請號: 202010849312.5
• 申請日: 2020-08-21
• 公開（公告）號: CN114077885A
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 石巍巍;劉華彥;隋志成;周力;劉默翰
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 任敏

1.一種基于張量分解的模型壓縮方法，其特征在于，包括：

服務器獲取待壓縮的模型，所述模型包括至少一層模型層，所述模型層具有相應的原始張量，所述原始張量包括多個維度，所述多個維度分別具有相應的維度大小；

針對所述模型層中的待分解層，所述服務器根據所述待分解層的原始張量中每個維度的維度大小，確定所述待分解層的原始張量的張量分解形式；以及，

所述服務器根據所述每個維度的維度大小，確定所述待分解層的原始張量的張量鏈分解秩；

所述服務器按照所述張量分解形式和所述張量鏈分解秩，對所述待分解層的原始張量進行張量分解，得到與所述模型對應的壓縮模型。

2.根據權利要求1所述的方法，其特征在于，所述針對所述模型層中的待分解層，所述服務器根據所述待分解層的原始張量中每個維度的維度大小，確定所述待分解層的原始張量的張量分解形式，包括：

針對所述模型層中的待分解層，所述服務器根據所述待分解層的原始張量中每個維度的維度大小，分別確定所述待分解層的原始張量中每個維度的張量分解形式。

3.根據權利要求2所述的方法，其特征在于，所述針對所述模型層中的待分解層，所述服務器根據所述待分解層的原始張量中每個維度的維度大小，確定所述待分解層的原始張量中每個維度的張量分解形式，包括：

針對所述模型層中的待分解層，所述服務器按照預設的維數，對所述每個維度的維度大小進行因子分解，得到所述每個維度的多種分解式；

所述服務器根據所述多種分解式，確定所述每個維度的張量分解形式。

4.根據權利要求3所述的方法，其特征在于，所述服務器根據所述多種分解式，確定所述每個維度的張量分解形式，包括：

所述服務器分別計算所述每個維度的每個分解式中各個數值的熵；

所述服務器將最大值的熵對應的分解式，確定為對應維度的張量分解形式。

5.根據權利要求3所述的方法，其特征在于，所述服務器根據所述多種分解式，確定所述每個維度的張量分解形式，包括：

所述服務器分別計算所述每個維度的每個分解式中各個數值的和；

所述服務器將最小值的和對應的分解式，確定為對應維度的張量分解形式。

6.根據權利要求1-5任一項所述的方法，其特征在于，所述服務器根據所述每個維度的維度大小，確定所述待分解層的原始張量的張量鏈分解秩，包括：

所述服務器確定所述多個維度的維度大小的最小值；

所述服務器在對所述維度大小的最小值取對數后，向下取整，得到第一整數；

所述服務器根據所述第一整數，確定所述待分解層的原始張量的張量鏈分解秩。

7.根據權利要求6所述的方法，其特征在于，所述服務器根據所述第一整數，確定所述待分解層的原始張量的張量鏈分解秩，包括：

所述服務器確定小于所述第一整數的多個整數中的最大值，得到第二整數；

所述服務器計算以2為底，以所述第二整數為冪次得到的第三整數；

所述服務器將所述第三整數確定為所述待分解層的原始張量的張量鏈分解秩。

8.根據權利要求1-7任一項所述的方法，其特征在于，在服務器獲取待壓縮的模型之后，所述方法還包括：

所述服務器判斷所述模型層是否適于進行張量分解；

若所述模型層適于進行張量分解，則所述服務器執行針對所述模型層中的待分解層，根據所述待分解層的原始張量中每個維度的維度大小，確定所述待分解層的原始張量的張量分解形式的步驟。

9.根據權利要求8所述的方法，其特征在于，所述服務器判斷所述模型層是否適于進行張量分解，包括：

所述服務器確定所述模型層的多個維度的維度大小的最大值和最小值；

所述服務器計算所述維度大小的最大值和最小值之間的比值；

若所述比值小于預設閾值，則所述服務器判定所述模型層適于進行張量分解，否則所述服務器判定所述模型層不適于進行張量分解。