[發(fā)明專利]一種部署到HTML5的模型壓縮方法

有效

• 申請?zhí)枺?/td>: 202011191931.6
• 申請日: 2020-10-30
• 公開（公告）號: CN112434725B
• 公開（公告）日: 2023-06-09
• 發(fā)明（設(shè)計）人: 周成
• 申請（專利權(quán)）人: 四川新網(wǎng)銀行股份有限公司
• 主分類號: G06F18/2415
• 分類號: G06F18/2415;G06F16/957
• 代理公司: 成都智言知識產(chǎn)權(quán)代理有限公司 51282
• 代理人: 蔣秀清

1.一種部署到?HTML5?的模型壓縮方法，其特征在于，包括：

A.使用常規(guī)模型訓(xùn)練方法，在訓(xùn)練集上訓(xùn)練模型，驗證集?Val?上評估模型，達到預(yù)定的評估效果后，獲得原始的未經(jīng)壓縮的模型?M_A?和模型?M_A?對應(yīng)的網(wǎng)絡(luò)權(quán)重W_A；

B.從模型的輸入到輸出的處理過程，逐層檢驗?zāi)Ｐ兔繉舆\算單元去除后的預(yù)測能力，確認運算單元的重要性，給出運算單元去除后，剩余網(wǎng)絡(luò)在驗證集上的準(zhǔn)確率?Acc_A；

C.設(shè)定一個初始準(zhǔn)確率閾值，并根據(jù)這個初始準(zhǔn)確率閾值、步驟?B?中的準(zhǔn)確率?Acc_A，構(gòu)建輔助壓縮模型?M_C來提升準(zhǔn)確率；輔助壓縮模型?M_C?在第一次使用模型時未構(gòu)建，輔助壓縮模型M_C?的提升準(zhǔn)確率此時為?0；構(gòu)建主要壓縮模型?M_B?及對應(yīng)的模型參數(shù)?W_B，將重要性低的運算單元構(gòu)成新的通路網(wǎng)絡(luò)，并通過新的通路網(wǎng)絡(luò)構(gòu)建輔助壓縮模型?M_C及對應(yīng)的模型參數(shù)?W_C，主要壓縮模型?M_B?和輔助壓縮模型?M_C?為初始壓縮模型；輔助壓縮模型?M_C?的提升準(zhǔn)確率為使用模型?M_C?后帶來的準(zhǔn)確率提升值，即：輔助壓縮模型M_C?的提升準(zhǔn)確率?=主要壓縮模型?M_B、輔助壓縮模型?M_C一起使用的準(zhǔn)確率?主要壓縮模型?M_B的準(zhǔn)確率；

D.在驗證集?Val?上評估主要壓縮模型?M_B，輸入分類任務(wù)并預(yù)測分類任務(wù)的概率，形成驗證子集和其余驗證子集并計算出驗證子集的預(yù)測概率、其余驗證子集的預(yù)測概率，最終獲取驗證集?Val?總準(zhǔn)確率；

E.若步驟?D?中的驗證集?Val?總準(zhǔn)確率步驟?B?中的初始準(zhǔn)確率閾值，則停止壓縮，并使用上一版本的主要壓縮模型?M_B?和輔助壓縮模型?M_C；若步驟?D?中的最后準(zhǔn)確率≥步驟B?中的初始準(zhǔn)確率閾值，則重復(fù)步驟?C?和步驟?D，直至滿足停止壓縮的條件成立；

F.將步驟?E?中的兩個壓縮模型通過?TensorFlow.js?轉(zhuǎn)換為?HTML5?可用的模型,部署在HTML5?上，使用壓縮模型時，優(yōu)先使用主要壓縮模型?M_B?并預(yù)測分類任務(wù)的概率，根據(jù)分類任務(wù)的概率選擇是否加入輔助壓縮模型?M_C。

2.如權(quán)利要求?1?所述的一種部署到?HTML5?的模型壓縮方法，其特征在于，步驟?D?包括：

D1.在驗證集?Val?上評估主要壓縮模型?M_B，獲得主要壓縮模型?M_B?的權(quán)重和輔助壓縮

模型?M_C?的權(quán)重；

D2.根據(jù)分類任務(wù)創(chuàng)建具體的分類，且主要壓縮模型?M_B?預(yù)測具體分類的概率、輔助壓縮模型?M_C?預(yù)測具體分類的概率；

D3.形成驗證子集和其余驗證子集，利用主要壓縮模型?M_B?的權(quán)重和?M_B?預(yù)測具體分類的概率計算在驗證子集上的預(yù)測概率，利用主要壓縮模型?M_C?的權(quán)重和?M_C?預(yù)測具體分類的概率計算在其余驗證子集上的預(yù)測概率；

D4.通過步驟D3?獲得的驗證子集預(yù)測概率和其余驗證子集預(yù)測概率獲取驗證集?Val總準(zhǔn)確率。

3.如權(quán)利要求?1?所述的一種部署到?HTML5?的模型壓縮方法，其特征在于，步驟?F?包

括：

F1.將步驟?E?中的兩個壓縮模型通過?TensorFlow.js?轉(zhuǎn)換為?HTML5?可用的模型,部署在

HTML5?上；

F2.使用壓縮模型時，優(yōu)先使用主要壓縮模型?M_B?并預(yù)測分類任務(wù)的概率；

F3.若步驟?F2?預(yù)測的分類任務(wù)的概率指定分類的閾值，則只使用主要壓縮模型?M_B并將主要壓縮模型?M_B?的預(yù)測結(jié)果作為最終輸出結(jié)果；否則，則加入輔助壓縮模型?M_C，使用主要壓縮模型?M_B?和輔助壓縮模型?M_C?對具體分類進行預(yù)測，并將預(yù)測結(jié)果作為最終輸出結(jié)果。