[發明專利]指令緩存、指令緩存組及其請求合并方法

在審

• 申請號: 202111162371.6
• 申請日: 2021-09-30
• 公開（公告）號: CN113867801A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海壁仞智能科技有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 彭久云

本發明提供一種指令緩存、指令緩存組及其請求合并方法。經由仲裁器在多個訪問請求中選擇其中一個作為執行請求，其中所述多個訪問請求分別由多個線程發送且在同一時間向所述仲裁器請求仲裁；將所述多個訪問請求中未被所述仲裁器選擇的且與所述執行請求具有相同訪問地址的訪問請求標記與所述執行請求進行合并，以得到合并請求；基于所述訪問地址來讀取數據；以及將所讀取的所述數據廣播至所述合并請求所對應的所有線程。

技術領域

本發明涉及一種指令緩存、指令緩存組及其請求合并方法。

背景技術

一般而言，在通用計算圖形處理單元(General-purpose computing on graphicsprocessing units，GPGPU)中，指令緩存是多個線程所共享。在正常工作中，多個線程會同時向指令緩存發送指令讀取的請求。經過仲裁之后，指令緩存會選擇一個線程的請求送到指令存儲器中將對應的指令數據讀取出來。據此，當多個線程同時讀取相同的指令時，由于指令緩存每次只能處理一個線程的請求，導致這些請求只能串行處理，使得相同的指令被讀取了多次。這種方式使得指令的讀取延遲增長，浪費了指令存儲器的數據帶寬。

發明內容

本發明是針對一種指令緩存、指令緩存組及其請求合并方法，可合并處理同一時間的多個請求，降低處理延遲并減少指令存儲器的訪問帶寬。

本發明用于指令緩存的請求合并方法，包括：經由仲裁器在多個訪問請求中選擇其中一個作為執行請求，其中所述多個訪問請求分別由多個線程發送且在同一時間向所述仲裁器請求仲裁；將所述多個訪問請求中未被所述仲裁器選擇的且與所述執行請求具有相同訪問地址的訪問請求與所述執行請求進行合并，以得到合并請求；基于所述訪問地址來讀取數據；以及將所讀取的所述數據廣播至所述合并請求所對應的所有線程。

根據本發明的實施例，將所述多個訪問請求中未被所述仲裁器選擇的且與所述執行請求具有相同訪問地址的訪問請求與所述執行請求進行合并，以得到所述合并請求的步驟包括：記錄所述合并請求對應的標識符，所述標識符至少包含所述多個訪問請求中具有相同訪問地址的訪問請求所對應的線程的標識信息。

根據本發明的實施例，將所讀取的所述數據廣播至所述合并請求所對應的所有線程的步驟包括：基于所述標識符，將所讀取的所述數據廣播至所述合并請求所對應的所有線程。

根據本發明的實施例，在經由仲裁器在多個訪問請求中選擇其中一個作為執行請求之后，還包括：將所述多個訪問請求中未被所述仲裁器選擇的訪問請求與所述執行請求進行比對，以找出與所述執行請求具有相同訪問地址的訪問請求。

本發明的指令緩存，包括：仲裁器；用以在多個訪問請求中選擇其中一個作為執行請求，其中所述多個訪問請求分別由多個線程發送且在同一時間向所述仲裁器請求仲裁；第一操作邏輯，用以將所述多個訪問請求中未被所述仲裁器選擇的且與所述執行請求具有相同訪問地址的訪問請求與所述執行請求進行合并，以得到合并請求；指令存儲器，基于所述訪問地址來讀取數據；以及第二操作邏輯，用以將所讀取的所述數據廣播至所述合并請求所對應的所有線程。

在根據本發明的實施例的指令緩存中，所述第一操作邏輯記錄所述合并請求對應的標識符，所述標識符至少包含所述多個訪問請求中具有相同訪問地址的訪問請求所對應的線程的標識信息。

在根據本發明的實施例的指令訪問裝置中，所述第二操作邏輯基于所述標識符，將所讀取的所述數據廣播至所述合并請求所對應的所有線程。

在根據本發明的實施例的指令訪問裝置中，所述第一操作邏輯將所述多個訪問請求中未被所述仲裁器選擇的訪問請求與所述執行請求進行比對，以找出與所述執行請求具有相同訪問地址的訪問請求。

本發明的指令緩存組包括：多個指令緩存；所述多個指令緩存至少包括一個所述的指令緩存。

在根據本發明的實施例的指令緩存組中，同時訪問所述多個指令緩存中至少兩個指令緩存的訪問請求的訪問地址不同。