[發(fā)明專利]機(jī)器學(xué)習(xí)網(wǎng)絡(luò)模型壓縮

在審

• 申請(qǐng)?zhí)枺?/td>: 201980083312.4
• 申請(qǐng)日: 2019-07-05
• 公開(kāi)（公告）號(hào): CN113196306A
• 公開(kāi)（公告）日: 2021-07-30
• 發(fā)明（設(shè)計(jì)）人: 朱佳峰;魏巍;陳建樂(lè);王煒;沈潔
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 蔡維華;臧建明

1.一種用于執(zhí)行模型壓縮的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述方法包括：

壓縮包括多層結(jié)構(gòu)的機(jī)器學(xué)習(xí)ML網(wǎng)絡(luò)模型以產(chǎn)生壓縮的ML網(wǎng)絡(luò)模型，所述壓縮的ML網(wǎng)絡(luò)模型保持所述ML網(wǎng)絡(luò)模型的所述多層結(jié)構(gòu)；以及

生成所述壓縮的ML網(wǎng)絡(luò)模型的模型文件，所述模型文件包括所述壓縮的ML網(wǎng)絡(luò)模型和用于使所述ML網(wǎng)絡(luò)模型能夠被逐層解壓縮并執(zhí)行的解碼信息。

2.根據(jù)權(quán)利要求1所述的方法，其中所述解碼信息存儲(chǔ)于所述模型文件的通用報(bào)頭中。

3.根據(jù)權(quán)利要求2所述的方法，其中所述通用報(bào)頭是所述模型文件的前八個(gè)字節(jié)。

4.根據(jù)權(quán)利要求2所述的方法，其中所述通用報(bào)頭提供版本、總報(bào)頭長(zhǎng)度、編碼類型、框架類型和序列化類型。

5.根據(jù)權(quán)利要求2所述的方法，其中所述模型文件還包括序列化報(bào)頭。

6.根據(jù)權(quán)利要求2所述的方法，其中所述報(bào)頭中的所述解碼信息包括解碼層指示，其中所述解碼層指示與層權(quán)重的解碼層資源分配相關(guān)聯(lián)。

7.根據(jù)權(quán)利要求6所述的方法，其中所述解碼層資源分配是用于存儲(chǔ)所述ML網(wǎng)絡(luò)模型的所述多層結(jié)構(gòu)的層權(quán)重的共享緩沖的緩沖分配。

8.根據(jù)權(quán)利要求6所述的方法，其中所述解碼層指示指示所述多層結(jié)構(gòu)的層權(quán)重按照所述ML網(wǎng)絡(luò)模型的解碼順序共享動(dòng)態(tài)分配的緩沖。

9.根據(jù)權(quán)利要求6所述的方法，其中所述解碼層指示指示所述模型的解碼層權(quán)重將各自被分配以緩沖中的相應(yīng)緩沖資源。

10.根據(jù)權(quán)利要求6所述的方法，其中所述解碼層指示攜帶于所述模型文件的所述通用報(bào)頭的解碼層共享緩沖報(bào)頭字段中。

11.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，還包括：向有限資源系統(tǒng)發(fā)送所述模型文件。

12.根據(jù)前述權(quán)利要求中任一項(xiàng)所述的方法，其中所述ML網(wǎng)絡(luò)模型為深度神經(jīng)網(wǎng)絡(luò)DNN。

13.一種用于執(zhí)行機(jī)器學(xué)習(xí)ML網(wǎng)絡(luò)模型的計(jì)算機(jī)實(shí)現(xiàn)的方法，所述方法包括：

獲取包括壓縮的ML網(wǎng)絡(luò)模型和用于實(shí)現(xiàn)逐層解壓縮和執(zhí)行的解碼信息的模型文件，所述解碼信息包括逐層標(biāo)志；

確定所述逐層標(biāo)志是否設(shè)置于所述模型文件中；

響應(yīng)于所述逐層標(biāo)志設(shè)置于所述模型文件中，對(duì)所述壓縮的ML網(wǎng)絡(luò)模型的第N層進(jìn)行解壓縮，以生成所述ML網(wǎng)絡(luò)模型的經(jīng)解壓縮的第N層，其中N是表示所述ML網(wǎng)絡(luò)的層序列的整數(shù)變量；

將所述ML網(wǎng)絡(luò)模型的經(jīng)解壓縮的第N層的一組加權(quán)值加載到緩沖中；

將來(lái)自所述緩沖的所述一組加權(quán)值安裝到所述ML網(wǎng)絡(luò)模型的經(jīng)解壓縮的第N層中，所述ML網(wǎng)絡(luò)模型的經(jīng)解壓縮的第N層的每個(gè)神經(jīng)元接收對(duì)應(yīng)的加權(quán)值；以及

通過(guò)所述ML網(wǎng)絡(luò)模型的經(jīng)解壓縮的第N層的神經(jīng)元處理一組數(shù)據(jù)。

14.根據(jù)權(quán)利要求13所述的方法，其中所述解碼信息存儲(chǔ)于所述模型文件的通用報(bào)頭中。

15.根據(jù)權(quán)利要求14所述的方法，其中所述通用報(bào)頭是所述模型文件的前八個(gè)字節(jié)。

16.根據(jù)權(quán)利要求14所述的方法，其中所述通用報(bào)頭提供版本、總報(bào)頭長(zhǎng)度、編碼類型、框架類型和序列化類型。

17.根據(jù)權(quán)利要求14所述的方法，其中所述模型文件還包括序列化報(bào)頭。

18.根據(jù)權(quán)利要求14所述的方法，其中所述報(bào)頭中的所述解碼信息包括解碼層指示，其中所述解碼層指示與層權(quán)重的解碼層資源分配相關(guān)聯(lián)。