[發明專利]根據特征圖融合網絡的裝置、板卡、方法及可讀存儲介質

在審

• 申請號: 202011045858.1
• 申請日: 2020-09-28
• 公開（公告）號: CN114358262A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08;G06K9/62;G06V10/80;G06V10/82
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 李波;孫新國

本披露涉及根據特征圖融合神經網絡各層為模板融合單元的裝置、板卡、方法及可讀存儲介質，其中本披露的計算裝置包括在集成電路裝置中，該集成電路裝置包括通用互聯接口和其他處理裝置。計算裝置與其他處理裝置進行交互，共同完成用戶指定的計算操作。集成電路裝置還可以包括存儲裝置，存儲裝置分別與計算裝置和其他處理裝置連接，用于計算裝置和其他處理裝置的數據存儲。

技術領域

本披露一般地涉及神經網絡領域。更具體地，本披露涉及根據特征圖融合神經網絡各層為模板融合單元的裝置、板卡、方法及可讀存儲介質。

背景技術

神經網絡是按照一定規則連接起來的多個神經元系統，大致上是由以下四種層結構所組成：輸入層、卷積層(convolution layer)、池化層(pooling layer)、全連接層(fully connected layer)。

輸入層是自輸入數據中截取部分信息，轉化成特征矩陣方式呈現，其中載有對應該部分信息的特征。卷積層配置成接收來自輸入層的特征矩陣，通過卷積操作對輸入數據進行特征抽取。卷積層在實際運用時可以建制多層卷積層。池化層配置成對數據的某一個區域用一個值代替，這值通常是該區域所有數值里的最大值或平均值。通過池化，在不至于損失過多信息的前提下，可以縮減模型尺寸、提高計算速度。全連接層在整個卷積神經網絡中起到分類器的作用，相當于特征空間變換，把前面所有有用的信息提取整合，基于不同的分類做信息比對，借以判斷輸入數據是否相似于比對的標的。

隨著科技的發展，神經網絡的層數越來越多，以經典的VGG架構為例，VGG-A共有11個權重層、VGG-B有13個權重層、VGG-C有16個權重層、VGG-D共有16個權重層、VGG-E共有19個權重層。其中，卷積層和全連接層的泛指權重層。有些神經網絡更是具有上百層結構。不僅如此，隨著層數的增加，神經網絡的參數數量也呈指數級的增加，例如AlexNet具有6000萬個參數參與計算。

多層數與多參數都需要大量片上片外的輸入/輸出訪問，這將會耗去許多資源，同時延遲運算時間。因此一種減少輸入/輸出訪問的機制是人工智能領域中迫切需要的。

發明內容

為了至少部分地解決背景技術中提到的技術問題，本披露的方案提供了一種根據特征圖融合神經網絡各層為模板融合單元的裝置、板卡、方法及可讀存儲介質。

在一個方面中，本披露揭露一種根據多個特征圖融合神經網絡各層為模板融合單元的集成電路裝置，包括計算裝置及處理裝置。計算裝置包括多個集群，每個集群包括共享存儲單元，用以存儲片上單元圖。處理裝置用以：判斷所述多個特征圖其中之一的尺寸是否大于所述共享存儲單元的可用空間；如否，所述片上單元圖包括所述多個特征圖其中之一；以及根據所述片上單元圖的尺寸決定所述模板融合單元。

另一個方面，本披露揭露一種板卡，包括前述的集成電路裝置。

另一個方面，本披露揭露一種在集成電路裝置中根據多個特征圖融合神經網絡各層為模板融合單元的方法，所述集成電路裝置包括計算裝置，所述計算裝置包括多個集群，每個集群包括共享存儲單元，用以存儲片上單元圖，所述方法包括：判斷所述多個特征圖其中之一的尺寸是否大于所述共享存儲單元的可用空間；如否，所述片上單元圖包括所述多個特征圖其中之一；以及根據所述片上單元圖的尺寸決定所述模板融合單元。

另一個方面，本披露揭露一種計算機可讀存儲介質，其上存儲有根據多個特征圖融合神經網絡各層為模板融合單元的計算機程序代碼，當所述計算機程序代碼由處理裝置運行時，執行前述的方法。

本披露的方案技術根據計算裝置的存儲空間適當將至少一張特征圖設定成片上單元圖，使得該片上單元圖可以一次性地載入至計算裝置的存儲空間中，再根據融合策略決定模板融合單元，在很大程度上減少了片外片上的數據傳輸，節省資源，并提升運算效率。

附圖說明