[發明專利]用于測試神經網絡中算子精度的方法、裝置和計算機可讀存儲介質

在審

• 申請號: 201911253023.2
• 申請日: 2019-12-09
• 公開（公告）號: CN113033762A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 李波;孫新國

本披露公開了用于測試神經網絡中算子精度的方法、測試裝置和存儲介質，其中該測試裝置可以包括在組合處理裝置中，該組合處理裝置還可以包括通用互聯接口和其他處理裝置。所述測試裝置與其他處理裝置進行交互，共同完成用戶指定的計算操作。組合處理裝置還可以包括存儲裝置，該存儲裝置分別與設備和其他處理裝置連接，用于該設備和其他處理裝置的數據。本披露的方案可以對神經網絡的算子精度進行有效的評估，從而確定神經網絡整體網絡的性能。

技術領域

本披露一般地涉及人工智能領域。更具體地，本披露涉及一種用于測試神經網絡中算子精度的方法、裝置和存儲介質。

背景技術

近年來，得益于數據量的增多、計算能力的增強、學習算法的成熟以及應用場景的豐富，以機器學習和知識圖譜為代表的人工智能技術逐漸愈發普及。特別是最近這幾年，越來越多的人開始關注于以神經網絡為主要模型的深度學習。深度學習不僅可以用來解決機器學習中的表示學習問題，還由于其強大的能力而越來越多地用來解決一些通用人工智能問題，比如推理或決策等。深度學習框架是整個深度學習生態體系中的第一層，其核心思想是將神經網絡計算進一步拆分為各類常見的面向向量數據或矩陣數據的算子。

算子在神經網絡中是一個函數空間到函數空間上的映射。廣義上來講，對任何函數進行某一項操作都可以認為是一個算子。簡言之，算子可以是映射、關系或者變換。深度學習框架需要將神經網絡映射的計算圖結構所表達的深度學習任務具體化成可以在中央處理器(“CPU”)或者人工智能處理器執行的指令和數據。在這個過程中，深度學習框架采用算子作為落實計算任務的具體元素，為每個算子都提供了在CPU或者人工智能處理器上執行的核函數。根據計算圖，深度學習框架調度執行計算圖中每個算子對應的核函數，完成整個神經網絡的計算。

由上述可知，在神經網絡的計算過程中，算子的精度水平對神經網絡的優劣起著重要的作用。在實際的神經網絡各層的設計中，可以采用不同的硬件或者硬件平臺來實現各層算子的計算，比如可以采用圖像處理單元(“GPU”)、中央處理單元(“CPU”)、機器學習單元(“MLU”)、張量處理單元(“TPU”)或者現場可編程門陣列(“FPGA”)等硬件。對于神經網絡中的卷積層和全連接層等的線性層，以及激活層和批歸一化層等的非線性層的算子來說，當使用前述不同的硬件或硬件平臺時可能會由于硬件的不同而導致算子精度水平的優劣，或者由于數據轉換(例如數據類型的變換)而導致各種算子的輸出會存在差異。對于這種差異的監測和度量可以判斷目標算子的精度是否符合要求，進而對整個神經網絡的設計進行評價。然而，目前現有技術中并沒有針對這方面的測試方法或者裝置。

發明內容

為了至少解決在上述背景技術部分所描述的問題，對神經網絡的多個算子精度進行有效的評估，從而確定神經網絡整體網絡的效能，本披露提出如下的技術方案及其多個實施例。

在第一方面中，本披露提出了一種用于通過硬件平臺測試神經網絡中算子精度的方法，該方法包括利用測試數據對所述神經網絡中的多個算子執行運算，以獲得針對所述神經網絡性能的基準結果，其中所述多個算子包括至少一個非目標算子和單個的目標算子。該方法還包括利用測試數據對所述非目標算子和目標算子執行區分的運算，以獲得針對所述神經網絡性能的測試結果；以及將所述基準結果與所述測試結果進行比較，以確定所述基準結果和所述測試結果之間的差異。該方法進一步包括根據評價標準對所述差異進行評價，以確定所述目標算子是否滿足精度要求。

在第二方面中，本披露公開了一種用于測試神經網絡中算子的精度的裝置，包括：至少一個處理器；以及至少一個存儲器，其用于存儲程序指令，當所述程序指令由所述至少一個處理器加載并執行時，使得所述裝置執行前述的方法。