[發明專利]網絡模型處理方法、裝置、設備、存儲介質

在審

• 申請號: 202111347772.9
• 申請日: 2021-11-15
• 公開（公告）號: CN114037063A
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 王燕飛;胡鵬;余鋒偉;胡健
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 馬麗;張穎玲

1.一種網絡模型處理方法，其特征在于，所述方法包括：

獲取待處理的網絡模型和所述網絡模型的部署條件；

基于所述部署條件，從設定的變換規則庫中，確定對所述網絡模型進行處理的目標變換規則；

基于所述目標變換規則，對所述網絡模型進行至少一次子結構的等價變換處理，得到變換后的目標網絡模型。

2.根據權利要求1所述的方法，其特征在于，所述變換規則庫中每一變換規則的類型包括以下之一：線性計算層合并規則，激活層內聯優化規則，數據操作層合并規則，批量歸一化拆分規則，參數校正線性單元拆分規則，數據操作重排規則。

3.根據權利要求1或2所述的方法，其特征在于，所述基于所述目標變換規則，對所述網絡模型進行至少一次子結構的等價變換處理，得到變換后的目標網絡模型，包括：

基于所述目標變換規則，確定至少一個待變換的結構類型以及與每一所述結構類型對應的變換操作；

基于至少一個所述結構類型，對所述網絡模型的網絡結構進行匹配；

在所述網絡模型的網絡結構中存在與任一所述結構類型匹配的子結構的情況下，基于與所述結構類型對應的變換操作，對所述子結構進行等價變換處理，得到候選網絡模型；

在所述候選網絡模型的網絡結構中的每一子結構與每一所述結構類型均不匹配的情況下，將所述候選網絡模型確定為目標網絡模型。

4.根據權利要求3所述的方法，其特征在于，所述基于所述目標變換規則，對所述網絡模型進行至少一次子結構的等價變換處理，得到變換后的目標網絡模型，還包括：

基于至少一個所述結構類型，對所述候選網絡模型的網絡結構進行匹配；

在所述候選網絡模型的網絡結構中存在與任一所述結構類型匹配的子結構的情況下，基于與所述結構類型對應的變換操作，對所述候選網絡模型的所述子結構進行等價變換處理，得到變換后的候選網絡模型。

5.根據權利要求3或4所述的方法，其特征在于，所述待變換的結構類型包括第一網絡層和依賴所述第一網絡層的第二網絡層；

所述基于至少一個所述結構類型，對所述網絡模型的網絡結構進行匹配，包括：

對所述網絡模型的網絡結構中的每一網絡層進行遍歷，在當前網絡層與所述第一網絡層匹配，且所述當前網絡層的依賴層與所述第二網絡層匹配的情況下，將所述當前網絡層和所述依賴層組成的結構確定為與所述第一網絡層和第二網絡層匹配的子結構。

6.根據權利要求3至5中任一項所述的方法，其特征在于，所述目標變換規則的數量為一個或多個；

所述基于所述目標變換規則，確定至少一個待變換的結構類型以及與每一所述結構類型對應的變換操作，包括：

針對每一所述目標變換規則，基于所述目標變換規則的類型，確定至少一個待變換的結構類型以及與每一所述結構類型對應的變換操作。

7.根據權利要求6所述的方法，其特征在于，所述基于所述目標變換規則的類型，確定至少一個待變換的結構類型以及與每一所述結構類型對應的變換操作，包括：

在所述目標變換規則包括線性計算層合并規則的情況下，確定所述至少一個待變換的結構類型包括相鄰的第一線性計算層和第二線性計算層，且每一組相鄰的第一線性計算層和第二線性計算層對應的變換操作包括將所述第一線性計算層和第二線性計算層合并為第三線性計算層；

其中，所述第一線性計算層包括以下至少之一：卷積層，歸一化處理層，全連接層，網絡輸入層；所述第二線性計算層包括以下至少之一：批量歸一化層，歸一化處理層，縮放平移層，預處理均值化層。

8.根據權利要求6或7所述的方法，其特征在于，所述基于所述目標變換規則的類型，確定至少一個待變換的結構類型以及與每一所述結構類型對應的變換操作，包括：

在所述目標變換規則包括激活層內聯優化規則的情況下，確定所述至少一個待變換的結構類型包括激活層和所述激活層的前驅層，且每一組激活層和所述激活層的前驅層對應的變換操作包括將所述激活層的計算過程移至所述前驅層中；所述激活層包括修正線性單元層。