[發明專利]基于設備信息的程序優化方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110336135.5
• 申請日: 2021-03-29
• 公開（公告）號: CN112988194A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 李秀紅;顏深根
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06F8/65
• 分類號: G06F8/65
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;董文俊

本公開涉及基于設備信息的程序優化方法、裝置、電子設備及存儲介質，在本公開實施例中，獲取待處理任務；根據處理待處理任務的設備端的信息確定設備端可提供的數據架構集合、運行方式集合以及實現程序語言集合；從數據架構集合、運行方式集合以及實現程序語言集合中分別確定出目標數據架構，目標運行方式和目標實現程序語言；向該設備端發送處理指令，處理指令用于指示設備端根據目標數據架構、目標運行方式和目標實現程序語言，處理待處理任務。如此，不僅設備的優化信息表達在中間表示里，還為多層次的中間表示之間如何做解析轉化提供了更便捷的方法。同時，通過優化的中間表示可以使得待處理任務的處理效率得到提高。

技術領域

本公開涉及計算機技術領域，尤其涉及一種基于設備信息的程序優化方法、裝置、電子設備及存儲介質。

背景技術

隨著人工智能領域的發展，越來越多的新型神經網絡被研發出來，這些神經網絡里包含著各式各樣的計算。由于神經網絡應用的靈活性，這些計算在計算庫里往往沒有對應的實現。另外一方面，面對超大規模的人工智能應用市場，以及目前復雜的國際貿易形勢，新型國產芯片公司也在研發國產芯片。因此，如何從編譯器角度，生成和編譯這些計算是一個非常重要的技術問題。

中間表示(intermediate representation，IR)指編譯器對于源程序進行掃描后生成的內部表示，代表源程序的語義和語法結構，編譯器的各個階段都在IR上進行分析或優化變換，因而它對編譯器的整體結構、效率和健壯性都有著極大的影響。中間表示對提高編譯器的可移植性以及代碼生成起到關鍵作用，在編譯器的研究中，應該設計一種結構良好的中間表示。然而傳統的中間表示設計，并沒有考慮到當前要面向多種多樣的人工智能芯片(包括NVIDIA圖形處理器GPU、AMD圖形處理器GPU、曙光數據控制器和寒武紀云端AI芯片MLU等)的場景，因此，在面對越來越多的新型神經網絡(即深度學習領域)的時候，其運行效率是不滿足需求的。

發明內容

本公開提出了一種基于設備信息的程序優化方法、裝置、電子設備及存儲介質，用于減少研究員在網絡設計和訓練花費的時間。

在一些可能的實施例中，本公開提供一種基于設備信息的程序優化方法，該方法包括：

獲取待處理任務；

根據處理待處理任務的設備端的信息，確定設備端可提供的數據架構集合、運行方式集合以及實現程序語言集合；數據構架集合中的數據架構用于表征待處理任務的計算邏輯，運行方式集合中的運行方式用于表征處理待處理任務所使用的計算方式、存儲方式和串并行處理方式；實現程序語言集合中的實現程序語言用于表征實現該待處理任務的程序語言；

從數據架構集合、運行方式集合以及實現程序語言集合中分別確定出目標數據架構、目標運行方式和目標實現程序語言；

向該設備端發送處理指令，處理指令用于指示設備端根據目標數據架構、目標運行方式和目標實現程序語言，處理待處理任務。

在一些可能的實施例中，向設備端發送處理指令之前，還包括：

獲取設備端當前默認的數據架構、當前默認的運行方式以及當前默認的實現程序語言；

該向設備端發送處理指令，包括：

若目標數據架構與當前默認的數據機構不匹配，目標運行方式和當前默認的運行方式不匹配，以及目標實現程序語言和當前默認的實現程序語言不匹配，向設備端發送處理更新指令；

處理更新指令包括由當前默認的數據架構的標識指向目標數據架構的標識的第一指示信息、由當前默認的運行方式的標識指向目標運行方式的標識的第二指示信息、由當前默認的實現程序語言的標識指向目標實現程序語言的標識的第三指示信息。

在一些可能的實施例中，上述數據架構包括張量和計算表達式。