[發(fā)明專利]基于設備信息的程序優(yōu)化方法、裝置、電子設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110336135.5
• 申請日: 2021-03-29
• 公開（公告）號: CN112988194A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設計）人: 李秀紅;顏深根
• 申請（專利權）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06F8/65
• 分類號: G06F8/65
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 熊永強;董文俊

本公開涉及基于設備信息的程序優(yōu)化方法、裝置、電子設備及存儲介質(zhì)，在本公開實施例中，獲取待處理任務；根據(jù)處理待處理任務的設備端的信息確定設備端可提供的數(shù)據(jù)架構(gòu)集合、運行方式集合以及實現(xiàn)程序語言集合；從數(shù)據(jù)架構(gòu)集合、運行方式集合以及實現(xiàn)程序語言集合中分別確定出目標數(shù)據(jù)架構(gòu)，目標運行方式和目標實現(xiàn)程序語言；向該設備端發(fā)送處理指令，處理指令用于指示設備端根據(jù)目標數(shù)據(jù)架構(gòu)、目標運行方式和目標實現(xiàn)程序語言，處理待處理任務。如此，不僅設備的優(yōu)化信息表達在中間表示里，還為多層次的中間表示之間如何做解析轉(zhuǎn)化提供了更便捷的方法。同時，通過優(yōu)化的中間表示可以使得待處理任務的處理效率得到提高。

技術領域

本公開涉及計算機技術領域，尤其涉及一種基于設備信息的程序優(yōu)化方法、裝置、電子設備及存儲介質(zhì)。

背景技術

隨著人工智能領域的發(fā)展，越來越多的新型神經(jīng)網(wǎng)絡被研發(fā)出來，這些神經(jīng)網(wǎng)絡里包含著各式各樣的計算。由于神經(jīng)網(wǎng)絡應用的靈活性，這些計算在計算庫里往往沒有對應的實現(xiàn)。另外一方面，面對超大規(guī)模的人工智能應用市場，以及目前復雜的國際貿(mào)易形勢，新型國產(chǎn)芯片公司也在研發(fā)國產(chǎn)芯片。因此，如何從編譯器角度，生成和編譯這些計算是一個非常重要的技術問題。

中間表示(intermediate representation，IR)指編譯器對于源程序進行掃描后生成的內(nèi)部表示，代表源程序的語義和語法結(jié)構(gòu)，編譯器的各個階段都在IR上進行分析或優(yōu)化變換，因而它對編譯器的整體結(jié)構(gòu)、效率和健壯性都有著極大的影響。中間表示對提高編譯器的可移植性以及代碼生成起到關鍵作用，在編譯器的研究中，應該設計一種結(jié)構(gòu)良好的中間表示。然而傳統(tǒng)的中間表示設計，并沒有考慮到當前要面向多種多樣的人工智能芯片(包括NVIDIA圖形處理器GPU、AMD圖形處理器GPU、曙光數(shù)據(jù)控制器和寒武紀云端AI芯片MLU等)的場景，因此，在面對越來越多的新型神經(jīng)網(wǎng)絡(即深度學習領域)的時候，其運行效率是不滿足需求的。

發(fā)明內(nèi)容

本公開提出了一種基于設備信息的程序優(yōu)化方法、裝置、電子設備及存儲介質(zhì)，用于減少研究員在網(wǎng)絡設計和訓練花費的時間。

在一些可能的實施例中，本公開提供一種基于設備信息的程序優(yōu)化方法，該方法包括：

獲取待處理任務；

根據(jù)處理待處理任務的設備端的信息，確定設備端可提供的數(shù)據(jù)架構(gòu)集合、運行方式集合以及實現(xiàn)程序語言集合；數(shù)據(jù)構(gòu)架集合中的數(shù)據(jù)架構(gòu)用于表征待處理任務的計算邏輯，運行方式集合中的運行方式用于表征處理待處理任務所使用的計算方式、存儲方式和串并行處理方式；實現(xiàn)程序語言集合中的實現(xiàn)程序語言用于表征實現(xiàn)該待處理任務的程序語言；

從數(shù)據(jù)架構(gòu)集合、運行方式集合以及實現(xiàn)程序語言集合中分別確定出目標數(shù)據(jù)架構(gòu)、目標運行方式和目標實現(xiàn)程序語言；

向該設備端發(fā)送處理指令，處理指令用于指示設備端根據(jù)目標數(shù)據(jù)架構(gòu)、目標運行方式和目標實現(xiàn)程序語言，處理待處理任務。

在一些可能的實施例中，向設備端發(fā)送處理指令之前，還包括：

獲取設備端當前默認的數(shù)據(jù)架構(gòu)、當前默認的運行方式以及當前默認的實現(xiàn)程序語言；

該向設備端發(fā)送處理指令，包括：

若目標數(shù)據(jù)架構(gòu)與當前默認的數(shù)據(jù)機構(gòu)不匹配，目標運行方式和當前默認的運行方式不匹配，以及目標實現(xiàn)程序語言和當前默認的實現(xiàn)程序語言不匹配，向設備端發(fā)送處理更新指令；

處理更新指令包括由當前默認的數(shù)據(jù)架構(gòu)的標識指向目標數(shù)據(jù)架構(gòu)的標識的第一指示信息、由當前默認的運行方式的標識指向目標運行方式的標識的第二指示信息、由當前默認的實現(xiàn)程序語言的標識指向目標實現(xiàn)程序語言的標識的第三指示信息。

在一些可能的實施例中，上述數(shù)據(jù)架構(gòu)包括張量和計算表達式。