[發(fā)明專利]模型壓縮方法及裝置

在審

• 申請?zhí)枺?/td>: 202110673860.1
• 申請日: 2021-06-17
• 公開（公告）號: CN113408724A
• 公開（公告）日: 2021-09-17
• 發(fā)明（設(shè)計）人: 孫強;陳瑞俠;孫強;劉恩甫;劉勝
• 申請（專利權(quán)）人: 博眾精工科技股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種模型壓縮方法，其特征在于，包括：

獲取待壓縮網(wǎng)絡(luò)模型以及目標壓縮比；

根據(jù)所述目標壓縮比確定節(jié)點壓縮方式，并且基于所述節(jié)點壓縮方式以及所述目標壓縮比對所述待壓縮網(wǎng)絡(luò)模型進行壓縮，得到待賦值網(wǎng)絡(luò)模型；

根據(jù)所述待壓縮網(wǎng)絡(luò)模型以及所述待賦值網(wǎng)絡(luò)模型，確定與所述待賦值網(wǎng)絡(luò)模型中各待賦值節(jié)點對應的權(quán)重值；

基于各權(quán)重值以及所述待賦值網(wǎng)絡(luò)模型，確定目標壓縮網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述節(jié)點壓縮方式包括層內(nèi)節(jié)點刪除方式；

所述基于所述節(jié)點壓縮方式以及所述目標壓縮比對所述待壓縮網(wǎng)絡(luò)模型進行壓縮，得到待賦值網(wǎng)絡(luò)模型，包括：

針對所述待壓縮網(wǎng)絡(luò)模型的每個待壓縮層，確定待壓縮層的層節(jié)點數(shù)量；

根據(jù)所述層節(jié)點數(shù)量以及所述目標壓縮比，確定保留節(jié)點數(shù)量；

根據(jù)各待壓縮層所對應的保留節(jié)點數(shù)量，構(gòu)建待賦值網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述節(jié)點壓縮方式包括層內(nèi)節(jié)點和層刪除方式；

所述基于所述節(jié)點壓縮方式以及所述目標壓縮比對所述待壓縮網(wǎng)絡(luò)模型進行壓縮，得到待賦值網(wǎng)絡(luò)模型，包括：

根據(jù)所述待壓縮網(wǎng)絡(luò)模型以及所述目標壓縮比，確定至少一個待刪除層，并將各待刪除層從所述待壓縮網(wǎng)絡(luò)模型中刪除，得到待處理網(wǎng)絡(luò)模型；

根據(jù)所述待壓縮網(wǎng)絡(luò)模型，所述待處理網(wǎng)絡(luò)模型以及所述目標壓縮比，確定待保留節(jié)點比例；

針對所述待處理網(wǎng)絡(luò)模型的每個待處理層，確定待處理層的層節(jié)點數(shù)量；

根據(jù)所述層節(jié)點數(shù)量以及所述待保留節(jié)點比例，確定保留節(jié)點數(shù)量；

根據(jù)各待處理層所對應的保留節(jié)點數(shù)量，構(gòu)建待賦值網(wǎng)絡(luò)模型。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述待壓縮網(wǎng)絡(luò)模型以及所述待賦值網(wǎng)絡(luò)模型，確定與所述待賦值網(wǎng)絡(luò)模型中各待賦值節(jié)點對應的權(quán)重值，包括：

根據(jù)所述待壓縮網(wǎng)絡(luò)模型以及所述待賦值網(wǎng)絡(luò)模型，確定與所述待賦值網(wǎng)絡(luò)模型中各待賦值節(jié)點所對應的待壓縮網(wǎng)絡(luò)模型中的各待處理節(jié)點；

將所述各待處理節(jié)點的權(quán)重值確定為各待賦值節(jié)點的權(quán)重值。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述待壓縮網(wǎng)絡(luò)模型以及所述待賦值網(wǎng)絡(luò)模型，確定與所述待賦值網(wǎng)絡(luò)模型中各待賦值節(jié)點所對應的待壓縮網(wǎng)絡(luò)模型中的各待處理節(jié)點，包括：

針對所述待賦值網(wǎng)絡(luò)模型中的各待賦值層，確定與所述待賦值層相對應的待壓縮網(wǎng)絡(luò)模型中的待壓縮層；

根據(jù)所述待賦值層中的待賦值節(jié)點數(shù)量以及與所述待壓縮層中各待處理節(jié)點的權(quán)重值，確定待壓縮層中的與所述待賦值層中的各待賦值節(jié)點相對應的待處理節(jié)點。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述目標壓縮比確定節(jié)點壓縮方式，包括：

若所述目標壓縮比小于或等于預設(shè)壓縮比，則確定節(jié)點壓縮方式為層內(nèi)節(jié)點刪除方式；

若所述目標壓縮比大于所述預設(shè)壓縮比，則確定節(jié)點壓縮方式為層內(nèi)節(jié)點和層刪除方式。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述待壓縮網(wǎng)絡(luò)模型中包括卷積層以及與所述卷積層對應的批量歸一化層；

所述根據(jù)所述待壓縮網(wǎng)絡(luò)模型以及所述待賦值網(wǎng)絡(luò)模型，確定與所述待賦值網(wǎng)絡(luò)模型中各待賦值節(jié)點對應的權(quán)重值，包括：

根據(jù)所述批量歸一化層中各待處理節(jié)點所對應的權(quán)重值確定與所述批量歸一化層相對應的待賦值網(wǎng)絡(luò)模型中的待賦值層中各待賦值節(jié)點的權(quán)重值以及與所述卷積層相對應的待賦值網(wǎng)絡(luò)模型中的待賦值層中各待賦值節(jié)點的權(quán)重值。