[發明專利]對編譯過程中的向量化進行優化的方法、裝置及電子設備

在審

• 申請號: 202110209259.7
• 申請日: 2021-02-24
• 公開（公告）號: CN112947932A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 穆沛;李秀紅;顏深根
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06F8/41
• 分類號: G06F8/41;G06F9/50
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 靳玫

本申請提供一種對編譯過程中的向量化進行優化的方法，所述方法包括：獲取目標芯片的硬件參數信息，所述硬件參數信息用于表征所述目標芯片的計算能力；根據預設的且與所述硬件參數信息對應的優化策略集，確定所述目標芯片的向量化參數的參數值；基于所述參數值，將所述目標芯片待執行的指令向量化，得到向量化指令。通過獲取芯片的硬件參數信息，并基于芯片的硬件參數信息確定與該芯片匹配的向量化參數，可以最大化利用芯片的計算能力，提高芯片處理指令的速度。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種對編譯過程中的向量化進行優化的方法、裝置、電子設備及機器可讀存儲介質。

背景技術

編譯器通常用于將指令編譯成機器可執行的機器指令，同時還可以對指令進行向量化，即將指令中的循環操作轉換為向量或者矩陣的運算，以提高運算效率。由于不同芯片的硬件性能不同，因而編譯器在對指令進行向量化時，其最優的向量化方案也不一樣。目前的編譯器，要么針對特定的芯片實現指令的向量化，要么基于通用芯片的硬件性能，實現指令的向量化，前者存在通用性較差的問題，而后者存在不能充分利用芯片各自的計算性能的缺陷。

發明內容

為克服相關技術中存在的問題，本申請提供了一種對編譯過程中的向量化進行優化的方法、裝置、電子設備及機器可讀存儲介質。

根據本申請實施例的第一方面，提供一種對編譯過程中的向量化進行優化的方法，所述方法包括：獲取目標芯片的硬件參數信息，所述硬件參數信息用于表征所述目標芯片的計算能力；根據預設的且與所述硬件參數信息對應的優化策略集，確定所述目標芯片的向量化參數的參數值；基于所述向量化參數的參數值，將所述目標芯片待執行的指令向量化，得到向量化指令。

在一些實施例中，所述硬件參數信息至少包括以下之一：所述目標芯片的體系結構、所述目標芯片的計算核數量、單個所述計算核的計算能力，其中，所述體系結構包括所述目標芯片的內存模型結構以及所述目標芯片的計算核并行結構。

在一些實施例中，所述獲取目標芯片的硬件參數信息，包括：基于預先設置的硬件參數配置表確定所述目標芯片的硬件參數信息，所述硬件參數配置表記錄有不同型號的芯片對應的硬件參數；或調用預先配置的硬件參數查詢接口獲取所述目標芯片的硬件參數信息；或獲取用戶通過所述目標芯片的硬件參數配置接口配置的硬件參數信息。

在一些實施例中，所述向量化參數包括以下一種或多種：所述目標芯片執行所述向量化指令所采用的并行計算方式，所述并行計算方式包括數據級并行優先的方式或線程級并行優先的方式；所述向量化指令對應的計算數據占用的所述目標芯片各層級內存的大小；所述目標芯片的計算核的并行度；單條所述向量化指令對應的計算數據量。

在一些實施例中，所述優化策略集包括以下一種或多種優化策略：第一優化策略，用于基于所述目標芯片的體系結構，確定所述目標芯片執行所述向量化指令所采用的并行計算方式，所述并行計算方式包括數據級并行優先的方式或線程級并行優先的方式；第二優化策略，用于基于所述目標芯片的各級內存的大小，確定為所述向量化指令對應的計算數據分配的所述芯片各層級內存的大小，其中，越靠近所述目標芯片的計算核的內存越優先分配；第三優化策略，用于根據所述目標芯片計算核的數量以及所述目標芯片計算核的計算能力，確定對所述待執行指令向量化時所述目標芯片的計算核的并行度；第四優化策略，用于根據所述目標芯片的單個計算核的計算能力，確定單條所述向量化指令對應的計算數據量。

在一些實施例中，所述根據預設的且與所述硬件參數信息對應的優化策略集，確定所述目標芯片的向量化參數的參數值，包括：基于所述硬件參數信息和所述優化策略集確定所述向量化參數的初始值；基于所述初始值不斷調整所述向量化參數，直至所述目標芯片執行所述向量化指令耗時最小，以得到所述向量化參數的參數值。