[發(fā)明專(zhuān)利]均衡流間壓縮速度的神經(jīng)網(wǎng)絡(luò)量化壓縮方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011611154.6
• 申請(qǐng)日: 2020-12-30
• 公開(kāi)（公告）號(hào): CN114697655B
• 公開(kāi)（公告）日: 2023-04-11
• 發(fā)明（設(shè)計(jì)）人: 何皓源;王秉睿;支天;郭崎
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院計(jì)算技術(shù)研究所
• 主分類(lèi)號(hào): H04N19/122
• 分類(lèi)號(hào): H04N19/122;H04N19/124;H04N19/13;H04N19/42;G06N3/082
• 代理公司: 北京律誠(chéng)同業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11006
• 代理人: 祁建國(guó)

1.一種基于均衡流間壓縮速度的神經(jīng)網(wǎng)絡(luò)量化壓縮方法，其特征在于，包括：

步驟1、獲取經(jīng)過(guò)量化處理后待壓縮的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)，對(duì)該神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分塊，得到多個(gè)數(shù)據(jù)塊；

步驟2、對(duì)每一個(gè)該數(shù)據(jù)塊分配一個(gè)數(shù)據(jù)流進(jìn)行壓縮，每條數(shù)據(jù)流的壓縮包括：對(duì)該數(shù)據(jù)塊進(jìn)行游程全零編碼，得到游程壓縮數(shù)據(jù)，其中該游程全零編碼僅對(duì)該神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)中的零字符進(jìn)行游程編碼，對(duì)該游程壓縮數(shù)據(jù)進(jìn)行規(guī)范化哈夫曼編碼，并對(duì)編碼結(jié)果進(jìn)行重整，得到規(guī)范哈夫曼編碼，作為該數(shù)據(jù)塊的壓縮結(jié)果；

步驟3、集合各數(shù)據(jù)塊的壓縮結(jié)果，作為該神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)的壓縮結(jié)果；

其中步驟2包括：

步驟21、監(jiān)測(cè)各數(shù)據(jù)流已經(jīng)壓縮編碼的數(shù)據(jù)量，判斷是否滿(mǎn)足P_current-P_min≥S，若滿(mǎn)足，則向當(dāng)前數(shù)據(jù)流的輸出緩存寫(xiě)入虛字符對(duì)應(yīng)的虛編碼，否則再次執(zhí)行步驟21；其中P_current為當(dāng)前數(shù)據(jù)流的輸入隊(duì)列寬度，P_min為編碼速率最慢的數(shù)據(jù)流的輸入隊(duì)列寬度，S為數(shù)據(jù)流的流水線(xiàn)深度；

該步驟21包括：向當(dāng)前數(shù)據(jù)流的輸出緩存寫(xiě)入虛字符，得到第三中間數(shù)據(jù)；判斷該第三中間數(shù)據(jù)中與該虛字符相同的字符是否為當(dāng)前數(shù)據(jù)流的輸出緩存中的原字符，若是，則將該第三中間數(shù)據(jù)中與該虛字符相同的字符替換為虛編碼，同時(shí)在其后增加表示其為原字符的標(biāo)志位，否則將該第三中間數(shù)據(jù)中與該虛字符相同的字符替換為虛編碼，同時(shí)在其后增加表示其為替換字符的標(biāo)志位。

2.如權(quán)利要求1所述的基于均衡流間壓縮速度的神經(jīng)網(wǎng)絡(luò)量化壓縮方法，其特征在于，該步驟2中所有數(shù)據(jù)流的輸入輸出同步進(jìn)行。

3.如權(quán)利要求2所述的基于均衡流間壓縮速度的神經(jīng)網(wǎng)絡(luò)量化壓縮方法，其特征在于，每條該數(shù)據(jù)流具有獨(dú)立的輸入緩存和輸出緩存，輸入緩存用于緩存該數(shù)據(jù)塊，輸出緩存用于緩存該數(shù)據(jù)塊的壓縮結(jié)果。

4.如權(quán)利要求1所述的基于均衡流間壓縮速度的神經(jīng)網(wǎng)絡(luò)量化壓縮方法，其特征在于，向當(dāng)前數(shù)據(jù)流的輸出緩存寫(xiě)入虛編碼的數(shù)據(jù)量為P_current-P_min。

5.一種基于均衡流間壓縮速度的神經(jīng)網(wǎng)絡(luò)量化壓縮系統(tǒng)，其特征在于，包括：

模塊1，用于獲取經(jīng)過(guò)量化處理后待壓縮的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)，對(duì)該神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行分塊，得到多個(gè)數(shù)據(jù)塊；

模塊2，用于對(duì)每一個(gè)該數(shù)據(jù)塊分配一個(gè)數(shù)據(jù)流進(jìn)行壓縮，每條數(shù)據(jù)流的壓縮包括：對(duì)該數(shù)據(jù)塊進(jìn)行游程全零編碼，得到游程壓縮數(shù)據(jù)，其中該游程全零編碼僅對(duì)該神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)中的零字符進(jìn)行游程編碼，對(duì)該游程壓縮數(shù)據(jù)進(jìn)行規(guī)范化哈夫曼編碼，并對(duì)編碼結(jié)果進(jìn)行重整，得到規(guī)范哈夫曼編碼，作為該數(shù)據(jù)塊的壓縮結(jié)果；

模塊3，用于集合各數(shù)據(jù)塊的壓縮結(jié)果，作為該神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)的壓縮結(jié)果；

其中模塊2包括：

模塊21，用于監(jiān)測(cè)各數(shù)據(jù)流已經(jīng)壓縮編碼的數(shù)據(jù)量，判斷是否滿(mǎn)足P_current-P_min≥S，若滿(mǎn)足，則向當(dāng)前數(shù)據(jù)流的輸出緩存寫(xiě)入虛字符對(duì)應(yīng)的虛編碼，否則再次執(zhí)行模塊21；其中P_current為當(dāng)前數(shù)據(jù)流的輸入隊(duì)列寬度，P_min為編碼速率最慢的數(shù)據(jù)流的輸入隊(duì)列寬度，S為數(shù)據(jù)流的流水線(xiàn)深度；

該模塊21包括：向當(dāng)前數(shù)據(jù)流的輸出緩存寫(xiě)入虛字符，得到第三中間數(shù)據(jù)；判斷該第三中間數(shù)據(jù)中與該虛字符相同的字符是否為當(dāng)前數(shù)據(jù)流的輸出緩存中的原字符，若是，則將該第三中間數(shù)據(jù)中與該虛字符相同的字符替換為虛編碼，同時(shí)在其后增加表示其為原字符的標(biāo)志位，否則將該第三中間數(shù)據(jù)中與該虛字符相同的字符替換為虛編碼，同時(shí)在其后增加表示其為替換字符的標(biāo)志位。

6.如權(quán)利要求5所述的基于均衡流間壓縮速度的神經(jīng)網(wǎng)絡(luò)量化壓縮系統(tǒng)，其特征在于，該模塊2中所有數(shù)據(jù)流的輸入輸出同步進(jìn)行。

7.如權(quán)利要求6所述的基于均衡流間壓縮速度的神經(jīng)網(wǎng)絡(luò)量化壓縮系統(tǒng)，其特征在于，每條該數(shù)據(jù)流具有獨(dú)立的輸入緩存和輸出緩存，輸入緩存用于緩存該數(shù)據(jù)塊，輸出緩存用于緩存該數(shù)據(jù)塊的壓縮結(jié)果。

8.如權(quán)利要求5所述的基于均衡流間壓縮速度的神經(jīng)網(wǎng)絡(luò)量化壓縮系統(tǒng)，其特征在于，向當(dāng)前數(shù)據(jù)流的輸出緩存寫(xiě)入虛編碼的數(shù)據(jù)量為P_current-P_min。