[發明專利]融合神經網絡的裝置、板卡、方法及可讀存儲介質

在審

• 申請號: 202011045852.4
• 申請日: 2020-09-28
• 公開（公告）號: CN114358261A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08;G06K9/62;G06V10/80;G06V10/82
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 李波;孫新國

本披露涉及執行神經網絡計算的裝置、板卡、方法及可讀存儲介質，其中本披露的計算裝置包括在集成電路裝置中，該集成電路裝置包括通用互聯接口和其他處理裝置。計算裝置與其他處理裝置進行交互，共同完成用戶指定的計算操作。集成電路裝置還可以包括存儲裝置，存儲裝置分別與計算裝置和其他處理裝置連接，用于計算裝置和其他處理裝置的數據存儲。

技術領域

本披露一般地涉及神經網絡領域。更具體地，本披露涉及融合神經網絡的裝置、板卡、方法及可讀存儲介質。

背景技術

神經網絡是按照一定規則連接起來的多個神經元系統，大致上是由以下四種層結構所組成：輸入層、卷積層(convolution layer)、池化層(pooling layer)、全連接層(fully connected layer)。

輸入層是自輸入數據中截取部分信息，轉化成特征矩陣方式呈現，其中載有對應該部分信息的特征。卷積層配置成接收來自輸入層的特征矩陣，通過卷積操作對輸入數據進行特征抽取。卷積層在實際運用時可以建制多層卷積層。池化層配置成對數據的某一個區域用一個值代替，這值通常是該區域所有數值里的最大值或平均值。通過池化，在不至于損失過多信息的前提下，可以縮減模型大小、提高計算速度。全連接層在整個卷積神經網絡中起到分類器的作用，相當于特征空間變換，把前面所有有用的信息提取整合，基于不同的分類做信息比對，借以判斷輸入數據是否相似于比對的標的。

隨著科技的發展，神經網絡的層數越來越多，以經典的VGG架構為例，VGG-A共有11個權重層、VGG-B有13個權重層、VGG-C有16個權重層、VGG-D共有16個權重層、VGG-E共有19個權重層。其中，卷積層和全連接層的泛指權重層。有些神經網絡更是具有上百層結構。不僅如此，隨著層數的增加，神經網絡的參數數量也呈指數級的增加，例如 AlexNet具有6000萬個參數參與計算。

多層數與多參數都需要大量片上片外的輸入/輸出訪問，這將會耗去許多資源，同時延遲運算時間。因此一種減少輸入/輸出訪問的機制是人工智能領域中迫切需要的。

發明內容

為了至少部分地解決背景技術中提到的技術問題，本披露的方案提供了一種融合神經網絡的裝置、板卡、方法及可讀存儲介質。

在一個方面中，本披露揭露一種融合神經網絡的集成電路裝置，包括：計算裝置，包括多個處理器核，每個處理器核包括神經元存儲單元及權值存儲單元；處理裝置，用以：融合所述神經網絡以建立模板融合單元，所述模板融合單元對應有片上單元圖及片上單元圖的相應權值；以及根據所述神經元存儲單元與所述權值存儲單元的大小將所述模板融合單元劃分為多個子模板融合單元，每個子模板融合單元對應有子圖及子圖的相應權值，所述子圖為所述片上單元圖的一部分，所述子圖的相應權值為所述片上單元圖的相應權值的一部分；其中，所述計算裝置將所述子圖載入所述神經元存儲單元，將所述子圖的相應權值載入所述權值存儲單元，以所述子模板融合單元的單位進行計算。

在另一個方面，本披露揭露一種板卡，包括根據前述的集成電路裝置。

在另一個方面，本披露揭露一種根據模板融合單元計算神經網絡的計算裝置，所述模板融合單元劃分為多個子模板融合單元，每個子模板融合單元對應有子圖及子圖的相應權值，所述計算裝置包括多個處理器核，每個處理器核包括神經元存儲單元及權值存儲單元，所述計算裝置將所述子圖載入所述神經元存儲單元，將所述子圖的相應權值載入所述權值存儲單元，以所述子模板融合單元的單位進行計算。

在另一個方面，本披露揭露一種融合神經網絡的處理裝置，連接至計算裝置，所述計算裝置包括多個處理器核，每個處理器核包括神經元存儲單元及權值存儲單元包括，所述處理裝置，用以：融合所述神經網絡以建立模板融合單元，所述模板融合單元對應有片上單元圖及片上單元圖的相應權值；以及根據所述神經元存儲單元與所述權值存儲單元的大小將所述模板融合單元劃分為多個子模板融合單元，每個子模板融合單元對應有子圖及子圖的相應權值，所述子圖為所述片上單元圖的一部分，所述子圖的相應權值為所述片上單元圖的相應權值的一部分。