[發明專利]機器學習網絡模型壓縮

在審

• 申請號: 201980083312.4
• 申請日: 2019-07-05
• 公開（公告）號: CN113196306A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 朱佳峰;魏巍;陳建樂;王煒;沈潔
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 蔡維華;臧建明

1.一種用于執行模型壓縮的計算機實現的方法，所述方法包括：

壓縮包括多層結構的機器學習ML網絡模型以產生壓縮的ML網絡模型，所述壓縮的ML網絡模型保持所述ML網絡模型的所述多層結構；以及

生成所述壓縮的ML網絡模型的模型文件，所述模型文件包括所述壓縮的ML網絡模型和用于使所述ML網絡模型能夠被逐層解壓縮并執行的解碼信息。

2.根據權利要求1所述的方法，其中所述解碼信息存儲于所述模型文件的通用報頭中。

3.根據權利要求2所述的方法，其中所述通用報頭是所述模型文件的前八個字節。

4.根據權利要求2所述的方法，其中所述通用報頭提供版本、總報頭長度、編碼類型、框架類型和序列化類型。

5.根據權利要求2所述的方法，其中所述模型文件還包括序列化報頭。

6.根據權利要求2所述的方法，其中所述報頭中的所述解碼信息包括解碼層指示，其中所述解碼層指示與層權重的解碼層資源分配相關聯。

7.根據權利要求6所述的方法，其中所述解碼層資源分配是用于存儲所述ML網絡模型的所述多層結構的層權重的共享緩沖的緩沖分配。

8.根據權利要求6所述的方法，其中所述解碼層指示指示所述多層結構的層權重按照所述ML網絡模型的解碼順序共享動態分配的緩沖。

9.根據權利要求6所述的方法，其中所述解碼層指示指示所述模型的解碼層權重將各自被分配以緩沖中的相應緩沖資源。

10.根據權利要求6所述的方法，其中所述解碼層指示攜帶于所述模型文件的所述通用報頭的解碼層共享緩沖報頭字段中。

11.根據前述權利要求中任一項所述的方法，還包括：向有限資源系統發送所述模型文件。

12.根據前述權利要求中任一項所述的方法，其中所述ML網絡模型為深度神經網絡DNN。

13.一種用于執行機器學習ML網絡模型的計算機實現的方法，所述方法包括：

獲取包括壓縮的ML網絡模型和用于實現逐層解壓縮和執行的解碼信息的模型文件，所述解碼信息包括逐層標志；

確定所述逐層標志是否設置于所述模型文件中；

響應于所述逐層標志設置于所述模型文件中，對所述壓縮的ML網絡模型的第N層進行解壓縮，以生成所述ML網絡模型的經解壓縮的第N層，其中N是表示所述ML網絡的層序列的整數變量；

將所述ML網絡模型的經解壓縮的第N層的一組加權值加載到緩沖中；

將來自所述緩沖的所述一組加權值安裝到所述ML網絡模型的經解壓縮的第N層中，所述ML網絡模型的經解壓縮的第N層的每個神經元接收對應的加權值；以及

通過所述ML網絡模型的經解壓縮的第N層的神經元處理一組數據。

14.根據權利要求13所述的方法，其中所述解碼信息存儲于所述模型文件的通用報頭中。

15.根據權利要求14所述的方法，其中所述通用報頭是所述模型文件的前八個字節。

16.根據權利要求14所述的方法，其中所述通用報頭提供版本、總報頭長度、編碼類型、框架類型和序列化類型。

17.根據權利要求14所述的方法，其中所述模型文件還包括序列化報頭。

18.根據權利要求14所述的方法，其中所述報頭中的所述解碼信息包括解碼層指示，其中所述解碼層指示與層權重的解碼層資源分配相關聯。