[發明專利]計算神經網絡的方法、裝置、板卡及計算機可讀存儲介質

在審

• 申請號: 202010246218.0
• 申請日: 2020-03-31
• 公開（公告）號: CN111461315A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 李波;孫新國

本發明涉及計算神經網絡的方法、裝置、板卡及計算機可讀存儲介質，其中本發明的計算裝置包括在集成電路裝置中，該集成電路裝置包括通用互聯接口和其他處理裝置。計算裝置與其他處理裝置進行交互，共同完成用戶指定的計算操作。集成電路裝置還可以包括存儲裝置，存儲裝置分別與計算裝置和其他處理裝置連接，用于計算裝置和其他處理裝置的數據存儲。

技術領域

本發明一般地涉及神經網絡領域。更具體地，本發明涉及計算神經網絡的方法、裝置、板卡及計算機可讀存儲介質。

背景技術

近年來，神經網絡算法取得重大的突破，引領人工智能的發展熱潮。由于人工神經網絡算法需要大量樣本數據進行訓練，才能建立輸入數據和輸出數據之間的映射關系。傳統處理器架構，例如x86或ARM，算力不足，無法支撐神經網絡大規模并行計算需求。

ASIC是一種為專門目的而設計的集成電路，雖然缺乏彈性，但具備處理速度快的優勢，廣受人工智能開發商的青睞。即便如此，在進行神經網絡計算時，仍需要將各種參數、指令、輸出入等數據在主機內存和設備內存間反復讀取存儲，耗費了大量的資源。

因此如何在神經網絡中簡化數據搬運的流程，便成為本領域急需解決的問題。

發明內容

為了至少部分地解決背景技術中提到的技術問題，本發明的方案提供了計算神經網絡的方法、裝置、板卡及計算機可讀存儲介質。

在一個方面中，本發明揭露一種基于神經網絡執行批量計算的方法，包括：定義所述神經網絡的數據節點與操作節點的連接關系，所述數據節點綁定常量數據；根據所述連接關系，編譯所述神經網絡獲得硬件指令；根據所述常量數據，批量計算人工神經網絡。

在另一個方面，本發明揭露一種基于神經網絡執行批量計算的計算裝置，包括：處理器、設備內存、設備。處理器用以定義所述神經網絡的數據節點與操作節點的連接關系，所述數據節點綁定常量數據；根據所述連接關系，編譯所述神經網絡獲得硬件指令。設備內存用以存儲所述常量數據。設備，用以根據所述常量數據，批量計算人工神經網絡。

在另一個方面，本發明揭露一種設備內存的指令尋址方法，所述設備內存包括段基址區及多個存放空間，所述方法包括：接收尋址指令，所述尋址指令包括數據名稱及塊內偏移量；根據所述數據名稱，識別所述的同類數據段；從所述基址區讀取所述同類數據段的段基址；從所述同類數據段讀取所述數據名稱的段內偏移量；根據所述段基址、所述段內偏移量及所述塊內偏移量，獲得目標地址；以及讀取所述目標地址里的所述數據。根據所述數據，執行人工神經網絡計算。

在另一個方面，本發明揭露一種計算裝置，包括：處理器、設備內存、設備。設備內存包括段基址區及多個存放空間。處理器用以：接收尋址指令，所述尋址指令包括數據名稱及塊內偏移量；根據所述數據名稱，識別所述的同類數據段；從所述段基址區讀取所述同類數據段的段基址；從所述段同類數據段讀取所述數據名稱的段內偏移量；根據所述段基址、所述段內偏移量及所述塊內偏移量，獲得目標地址；讀取所述目標地址里的數據。設備用以在執行人工神經網絡計算時，輸入或輸出所述數據。

在另一個方面，本發明揭露一種在人工神經網絡計算中綁定多個常量數據的方法，包括：重排序所述多個常量數據；根據所述多個常量數據的數據量，計算同類數據段的段內偏移量；在數據包中回填所述段內偏移量；以及發送所述數據包至設備。其中，所述設備讀取所述數據包里的所述多個常量數據，以執行批量的人工神經網絡計算。

在另一個方面，本發明揭露一種在人工神經網絡計算中組成數據包的方法，包括：在所述數據包中建立標簽區，所述標簽區記錄所述數據包的總數據量；在所述數據包中建立常量數據區，所述常量數據區記錄指令及多個常量數據；其中，設備讀取所述數據包里的所述指令及常量數據，以執行批量的人工神經網絡計算。