[發(fā)明專利]基于語義分割神經(jīng)網(wǎng)絡模型的任意比特量化方法及設備

有效

• 申請?zhí)枺?/td>: 202110756609.1
• 申請日: 2021-07-05
• 公開（公告）號: CN113487014B
• 公開（公告）日: 2022-08-05
• 發(fā)明（設計）人: 譚黎敏;崔衛(wèi)東;趙釗
• 申請（專利權）人: 上海西井信息科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/04
• 代理公司: 上海隆天律師事務所 31282
• 代理人: 潘一諾

1.一種基于語義分割神經(jīng)網(wǎng)絡模型的任意比特量化方法，其特征在于，包括：

于預訓練的語義分割浮點網(wǎng)絡模型的設置多個偽量化節(jié)點，所述偽量化節(jié)點用于采集量化信息，所述預訓練的語義分割浮點網(wǎng)絡模型的輸入、各層輸入以及權重以浮點數(shù)表示；

對設置后的語義分割浮點網(wǎng)絡模型進行量化感知訓練；

將所述語義分割浮點網(wǎng)絡模型轉化為語義分割定點網(wǎng)絡模型，所述語義分割定點網(wǎng)絡模型的輸入、各層輸入以及權重以指定比特的定點數(shù)表示，其中，所述偽量化節(jié)點設置于所述預訓練的語義分割浮點網(wǎng)絡模型的各層，所述偽量化節(jié)點包括：輸入量化節(jié)點、權重量化節(jié)點、算子量化節(jié)點以及輸出反量化節(jié)點，所述偽量化節(jié)點的算子量化節(jié)點為卷積量化節(jié)點、加法量化節(jié)點以及乘法量化節(jié)點中的多種，所述加法量化節(jié)點根據(jù)如下公式進行加法量化：

z_q＝Z_z/q+M_x,z/float(x_q-Z_x/q)+M_y,z/float(y_q-Z_y/q)

其中，x_q是加法算子的量化形式的一個指定比特的輸入定點數(shù)，Z_x/q是輸入定點數(shù)x_q對應的零點偏差，y_q是加法算子的量化形式的另一個指定比特的輸入定點數(shù)，Z_y/q是輸入定點數(shù)y_q對應的零點偏差，z_q是加法算子的量化形式的指定比特的輸出定點數(shù)，Z_z/q是輸出定點數(shù)z_q對應的零點偏差，M_x,z/float是輸入定點數(shù)x_q和輸出定點數(shù)z_q的縮放系數(shù)的比值；M_y,z/float是輸入定點數(shù)y_q和輸出定點數(shù)z_q的縮放系數(shù)的比值。

2.如權利要求1所述的基于語義分割神經(jīng)網(wǎng)絡模型的任意比特量化方法，其特征在于，所述輸入量化節(jié)點按如下步驟量化：

根據(jù)輸入浮點數(shù)的所有元素的最大值和最小值、量化區(qū)間的最大值和最小值計算縮放因子和零點偏差；

根據(jù)所述縮放因子和零點偏差將所述輸入浮點數(shù)轉換為指定比特的輸入定點數(shù)。

3.如權利要求2所述的基于語義分割神經(jīng)網(wǎng)絡模型的任意比特量化方法，其特征在于，所述權重量化節(jié)點按與所述輸入量化節(jié)點相同的方式量化權重浮點數(shù)。

4.如權利要求1所述的基于語義分割神經(jīng)網(wǎng)絡模型的任意比特量化方法，其特征在于，所述卷積量化節(jié)點根據(jù)如下公式進行卷積量化：

y_q＝Z_y/q+[M*conv((x_q-Z_x/q)(w_q-Z_w/q))]

其中，x_q是卷積量化節(jié)點的卷積層的指定比特的輸入定點數(shù)，w_q是卷積量化節(jié)點的卷積層的指定比特的權重定點數(shù)，y_q是卷積量化節(jié)點的卷積層的指定比特的輸出定點數(shù)，S_x/float是輸入定點數(shù)對應的縮放系數(shù)，S_w/float是權重定點數(shù)對應的縮放系數(shù)，S_y/float是輸出定點數(shù)對應的縮放系數(shù)，M是輸入定點數(shù)和輸出定點數(shù)的縮放系數(shù)的比值。

5.如權利要求2所述的基于語義分割神經(jīng)網(wǎng)絡模型的任意比特量化方法，其特征在于，所述乘法量化節(jié)點根據(jù)如下步驟進行乘法量化：

將浮點乘法系數(shù)轉換為定點乘法系數(shù)；

根據(jù)所述定點乘法系數(shù)進行定點乘法。

6.如權利要求1至5任一項所述的基于語義分割神經(jīng)網(wǎng)絡模型的任意比特量化方法，其特征在于，所述語義分割定點網(wǎng)絡模型的輸入、各層輸入以及權重為整數(shù)，所述語義分割定點網(wǎng)絡模型部署至現(xiàn)場可編程門陣列或嵌入式平臺。