[發明專利]神經網絡計算方法、裝置和存儲介質

有效

• 申請號: 202010776845.5
• 申請日: 2020-08-05
• 公開（公告）號: CN112100118B
• 公開（公告）日: 2021-09-10
• 發明（設計）人: 鄢貴海;盧文巖
• 申請（專利權）人: 中科馭數（北京）科技有限公司
• 主分類號: G06F15/78
• 分類號: G06F15/78;G06N3/063;G06N3/04
• 代理公司: 北京金咨知識產權代理有限公司 11612
• 代理人: 宋教花

本申請提供了一種神經網絡計算方法、裝置和存儲介質，該方法包括：用片上緩存模塊對片外輸入數據、神經網絡計算參數數據以及神經網絡計算中的中間計算結果數據進行緩存；基于預定的神經網絡計算模式將緩存的片外輸入數據或中間計算結果數據進行數據流重定向操作，并輸入到計算模塊中；基于預定的神經網絡計算模式將緩存的神經網絡計算參數數據進行數據流重定向操作，并輸入到計算模塊中；由計算模塊基于重定向操作后的片外輸入數據或中間計算結果數據以及經重定向操作后的神經網絡計算參數數據按照預定的運算模式進行神經網絡計算，并將中間計算結果緩存到片上緩存模塊中。本發明能克服現有計算架構與神經網絡模型不匹配導致資源利用率低下的問題。

技術領域

本申請涉及數據處理和人工智能技術領域，尤其涉及一種神經網絡計算方法、裝置和存儲介質。

背景技術

隨著人工智能算法的繁榮發展，其在很多方面的性能已經超過了人類的極限，如圍棋對戰，圖像分類等。人工智能正在被廣泛地應用于各行各業中，逐步地改變著人類生活的方方面面。

神經網絡是一類非常重要的人工智能算法，已經有很多影響力較大的神經網絡模型被提出，并實現了很好的應用效果，如2012年在大規模視覺識別挑戰賽(ILSVRC，ImageNet Large Scale Visual Recognition Competition)中取得圖像分類冠軍的AlexNet,2014年提出的VGG和GoogLeNet，以及后來更復雜的ResNet等。這些模型的準確率和識別率越來越高，同時各神經網絡模型規模也越來越大，所需計算量也急劇增加。神經網絡模型分類性能優勢主要來源于其復雜的數據處理模型和巨大的計算量。并且，神經網絡模型仍朝著更加復雜和計算量更大化的方向展。若使用傳統的通用處理器來實現神經網絡模型，效率將變得非常低下，需要經過很長(通常需要幾十分鐘甚至幾個小時)的計算時間才能得到不錯的結果，無法滿足實時性的要求。隨著應用對實時性要求不斷提高，使用硬件方案進行加速的需求變得越來越迫切。

現有的神經網絡硬件加速方案，主要采用全定制的方案，根據給定神經網絡模型計算模式，定制控制和數據通路。這種實現方案，往往僅能夠支持一種特定的計算模式。但是，發明人發現，隨著神經網絡模型不同，其對應的最高效的計算模式差異非常大。當神經網絡運算在一種低效率的計算模式下，硬件計算資源利用率低下，導致計算性能衰減嚴重。

發明人在進行神經網絡算法的具體實現過程中發現：大部分神經網絡模型都無法與現有的計算架構很好的匹配，導致真正計算過程中計算資源利用率極其低下，性能衰減嚴重。

如何解決上述隨著神經網絡模型不同導致計算資源利用率低下的問題，變得尤為迫切。

發明內容

有鑒于此，本發明提出了一種計算機軟件定義的數據流驅動的神經網絡計算方法和裝置，以克服上述現有計算架構與神經網絡模型不匹配導致資源利用率低下的問題。

本發明的一個方面提供一種數據流驅動的神經網絡計算方法，該分法包括：

用片上緩存模塊對片外輸入數據、神經網絡計算參數數據以及神經網絡計算中的中間計算結果數據進行緩存；

基于預定的神經網絡計算模式將緩存的片外輸入數據或中間計算結果數據進行數據流重新定向操作，并輸入到計算模塊中；

基于預定的神經網絡計算模式將緩存的神經網絡計算參數數據進行數據流重新定向操作，并輸入到計算模塊中；

由所述計算模塊基于重新定向操作后的片外輸入數據或中間計算結果數據以及經重新定向操作后的神經網絡計算參數數據按照預定的運算模式進行神經網絡計算，并將中間計算結果緩存到所述片上緩存模塊中。