[發明專利]基于中間層特征圖壓縮的卷積方法、模型及計算機設備

在審

• 申請號: 202110397024.5
• 申請日: 2021-04-13
• 公開（公告）號: CN113052258A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 杜力;杜源;黃一珉;邵壯
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

1.基于中間層特征圖壓縮的卷積方法，其特征在于，包括：

S101，獲取輸入圖像；

S102，對所述輸入圖像進行預處理，所述預處理為高斯濾波處理；

S103，將預處理后的輸入圖像作為第一個硬件融合算子的輸入，進行推理運算，獲得第一個硬件融合算子的中間層特征圖，所述硬件融合算子至少包括卷積層、池化層、BN層或Relu層中的任意一層，且若硬件融合算子包括卷積層，則所述卷積層處于第一層；

S104，判斷中間層特征圖的數據量是否大于預設的閾值，若中間層特征圖的數據量小于或等于預設的閾值，則直接存儲所述中間層特征圖；若中間層特征圖的數據量大于預設的閾值，則對中間層特征圖進行量化及稀疏矩陣壓縮，并存儲經過量化及稀疏矩陣壓縮后的中間層特征圖；

S105，提取S104中存儲的中間層特征圖或量化及稀疏矩陣壓縮后的中間層特征圖，并作為下一個硬件融合算子的推理運算的輸入，獲得下一個硬件融合算子的中間層特征圖；

S106，重復S104至S105，直至所有硬件融合算子完成推理運算，獲得最終的輸出結果。

2.根據權利要求1所述的基于中間層特征圖壓縮的卷積方法,其特征在于，在對中間層特征圖進行量化及稀疏矩陣壓縮的步驟之前，還包括：

對所述中間層特征圖進行DCT變換，獲得DCT變換后的中間層特征圖。

3.根據權利要求2所述的基于中間層特征圖壓縮的卷積方法,其特征在于，在所述提取所述中間層特征圖或量化及稀疏矩陣壓縮后的中間層特征圖的步驟之后，還包括：

若提取的中間中間層特征圖經過量化及稀疏矩陣壓縮，則對量化及稀疏矩陣壓縮后的中間層特征圖進行解壓縮恢復量化和IDCT變換。

4.基于中間層特征圖壓縮的卷積方法，其特征在于，包括：

獲取輸入圖像；

對所述輸入圖像進行預處理，所述預處理為高斯濾波處理；

將預處理后的輸入圖像作為多個硬件融合算子中第一個硬件融合算子的輸入，依次進行多個硬件融合算子的推理運算，獲得多個中間層特征圖以及最終的輸出結果；所述硬件融合算子至少包括卷積層、池化層、BN層或Relu層中的任意一層，且若硬件融合算子包括卷積層，則所述卷積層處于第一層；

其中，所述硬件融合算子包括第一類硬件融合算子和第二類硬件融合算子，所述第一類硬件融合算子的中間層特征圖，在存儲前均經過量化及稀疏矩陣壓縮，所述第二類硬件融合算子的中間層特征圖采用直接存儲方式進行存儲。

5.基于中間層特征圖壓縮的卷積模型,其特征在于，所述卷積模型用于執行權利要求1-3所述的一種基于中間層特征圖壓縮的卷積方法，所述一種基于中間層特征圖壓縮的卷積模型包括：

輸入端，用于獲取輸入圖像；

預處理模塊；用于對輸入圖像進行高斯濾波處理；

多個硬件融合算子，用于獲得多個中間層特征圖以及最終輸出矩陣，所述硬件融合算子至少包括卷積層、池化層、BN層或Relu層中的任意一層，且若硬件融合算子包括卷積層，則所述卷積層處于第一層；

數據量判斷模塊，用于判斷中間層特征圖的數據量是否大于預設的閾值；

量化及稀疏矩陣模塊，用于對中間層特征圖進行量化及稀疏矩陣壓縮；

存儲模塊，用于存儲中間層特征圖或經過量化及稀疏矩陣壓縮后的中間層特征圖；

輸出端，用于輸出最終的輸出結果。

6.根據權利要求5所述的基于中間層特征圖壓縮的卷積模型,其特征在于，包括：

DCT變換模塊，用于對所述中間層特征圖進行DCT變換。

7.根據權利要求6所述的基于中間層特征圖壓縮的卷積模型,其特征在于，包括：

IDCT變換模塊，用于對所述中間層特征圖進行IDCT變換；

解壓縮及恢復量化模塊，用于對量化及稀疏矩陣壓縮后的中間層特征圖進行解壓縮及恢復量化。