[發明專利]用于神經網絡的編譯方法、編譯器及相關產品

在審

• 申請號: 202110668264.4
• 申請日: 2021-06-16
• 公開（公告）號: CN115480743A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06F8/41;G06N3/063;G06N20/00
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 孫新國

本披露公開了一種用于神經網絡模型的編譯方法和相關產品，該相關產品包括編譯器、設備和計算機可讀存儲介質。該編譯方法可以應用于包括在組合處理裝置的計算處理裝置中，該計算處理裝置可以包括一個或多個數據處理裝置。前述的組合處理裝置還可以包括接口裝置和其他處理裝置。所述計算處理裝置與其他處理裝置進行交互，共同完成用戶指定的計算操作。組合處理裝置還可以包括存儲裝置，該存儲裝置分別與設備和其他處理裝置連接，用于存儲該設備和其他處理裝置的數據。通過利用本披露的方案，可以對可變張量形狀的神經網絡進行編譯，從而提升編譯性能。

技術領域

本公開一般地涉及軟件領域。更具體地，本公開涉及一種用于神經網絡的編譯方法、編譯器、電子設備、計算機程序產品和用于對可變神經網絡模型進行實時編譯的系統。

背景技術

傳統的深度學習框架(例如TensorFlow、MXNet、Caffe和PyTorch) 采用人工優化算子并且建立運行時圖解釋器來解決內存分配調度等問題。進一步，深度學習框架下的深度學習編譯器一般在優化過程中執行自動或者半自動的代碼生成操作，以用以替代人工優化。

盡管深度學習編譯器在編譯方面相對于現有技術具有一些優勢，但其針對輸入張量形狀可變神經網絡的性能優化一般要劣于輸入張量形狀不變的神經網絡。例如，在利用神經網絡對目標進行檢測且目標框尺寸不一的場景中，深度學習編譯器的應用存在一定缺陷。具體來說，針對不同目標框尺寸的神經網絡，在保證優化性能的前提下，深度學習編譯器需要進行多次的編譯操作，從而造成相當高的時間成本。進一步，在每次編譯操作后，智能處理器僅能運行一次編譯文件，這給使用帶來顯著的不便并且造成較差的用戶體驗。

發明內容

鑒于上述背景技術部分所提及的技術問題，本公開在多個方面中提出了用于神經網絡的編譯方案，其通過對輸入張量形狀進行賦值，可以實現對具有不同輸入張量形狀的神經網絡生成一份代碼，以減少代碼量并縮短編譯時間。本公開實施例的神經網絡可以應用于各種領域，諸如圖像處理、語音處理、文本處理等等，這些處理例如可以包括但不限于識別和分類。

在第一方面中，本公開提供了一種用于神經網絡的編譯方法，包括：獲取神經網絡的計算圖，其中計算圖包括計算節點和數據節點及其各自的標簽數據，其中標簽數據包括用于描述張量形狀的形狀參數；對數據節點的標簽數據中的形狀參數進行賦值；以及根據賦值后的形狀參數和算子輸出形狀公式庫來生成計算節點中對應算子的算子代碼。

在第二方面中，本公開提供了一種用于神經網絡的編譯器，包括：獲取單元，其用于獲取神經網絡的計算圖，其中計算圖包括計算節點和數據節點及其各自的標簽數據，其中標簽數據包括用于描述張量形狀的形狀參數；賦值單元，其用于對數據節點的標簽數據中的形狀參數進行賦值；以及算子生成單元，其用于根據賦值后的形狀參數和算子輸出形狀公式庫來生成計算節點中對應算子的算子代碼。

在第三方面中，本公開提供了一種電子設備，包括：至少一個處理器；以及與至少一個處理器通信連接的存儲器；其中，存儲器存儲有可被至少一個處理器執行的指令，指令被至少一個處理器執行，以使至少一個處理器能夠執行本公開第一方面任一項的方法。

在第四方面中，本公開提供了一種計算機程序產品，包括計算機程序，計算機程序在被處理器執行時實現本公開第一方面任一項的方法。

在第五方面中，本公開提供了一種用于對可變神經網絡模型進行實時編譯的系統，包括：互聯的主機和設備，其中主機包括根據本公開第二方面的編譯器；其中設備配置成執行經編譯器編譯的代碼。

通過如上所提供的用于神經網絡的編譯方法、編譯器、電子設備、計算機程序產品和用于對可變神經網絡模型進行實時編譯的系統，本公開的方案可以通過對輸入張量形狀進行賦值，由此實現對不同輸入張量形狀的神經網絡生成一份代碼，以減少代碼量、縮短編譯時間。在運行根據本公開的方案生成的編譯代碼時，用戶填寫新的輸入張量形狀，即可對不同輸入張量形狀的神經網絡進行編譯，用戶友好。

附圖說明