[發明專利]有效消除數據訪問延遲的并行數據處理方法及并行處理器

在審

• 申請號: 202110064248.4
• 申請日: 2021-01-18
• 公開（公告）號: CN112732416A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 鐘偉;冀謙祥;梅思行
• 申請（專利權）人: 深圳中微電科技有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/50;G06F9/38
• 代理公司: 深圳市科吉華烽知識產權事務所(普通合伙) 44248
• 代理人: 胡吉科

1.一種有效消除數據訪問延遲的并行數據處理方法，其特征在于：包括如下步驟：把可并行處理數據分成若干工作組，針對每個工作組設置參數；啟動多線程進行處理，每個線程處理一個工作項；若遇需到外部存儲器訪問的數據，則保存上下文，當前線程進行休眠等待，硬件切換到下一個線程并開展運算；等數據返回后通知休眠等待的線程進入隨時切換等待，只要硬件資源釋放出來，便可立即重新運算。

2.根據權利要求1所述的有效消除數據訪問延遲的并行數據處理方法，其特征在于：每個線程都配置有對應的通用寄存器。

3.一種用于實現如權利要求1或2中任一項所述有效消除數據訪問延遲的并行數據處理方法的并行處理器，其特征在于：包括：

多個線程處理引擎：用于處理被分配給該線程處理引擎的線程，多個所述線程處理引擎并行連接；

線程管理單元：用于取得、判斷所述線程處理引擎的狀態，并將處于等待隊列中的線程分配到所述線程處理引擎中，所述線程管理單元與所述線程處理引擎連接。

4.根據權利要求3所述的并行處理器，其特征在于：所述并行處理器還包括用于數據及線程緩沖、指令緩沖的內部存儲系統以及用于存儲所述線程處理引擎的各種狀態的寄存器，所述內部存儲系統、寄存器分別與所述線程處理引擎連接，內部存儲系統、寄存器分別與所述線程管理單元連接。

5.根據權利要求4所述的并行處理器，其特征在于：所述線程處理引擎、線程管理單元以及內部存儲系統通過系統總線接口與外接或內置的通用處理器以及外部存儲系統相連。

6.根據權利要求5所述的并行處理器，其特征在于：所述線程處理引擎包括多個并行的、相互獨立的算術邏輯運算單元以及與所述算術邏輯運算單元一一對應的乘加器單元。

7.根據權利要求6所述的并行處理器，其特征在于：所述內部存儲系統包括用于對所述數據進行緩沖的數據緩沖單元、對線程進行緩沖的線程緩沖單元以及對指令進行緩沖的指令緩沖單元，所述線程緩沖單元與所述數據緩沖單元連接，所述數據緩沖單元、指令緩沖單元，分別與所述系統總線接口連接，所述數據緩沖單元分別與所述算術邏輯運算單元、線程管理單元連接，所述指令緩沖單元連接有指令取得單元，所述線程管理單元的輸出端與所述指令取得單元連接，所述線程管理單元指令取得單元的輸出連接有指令輸出單元，所述指令輸出單元的輸出端分別與所述算術邏輯運算單元以及乘加器單元連接。

8.根據權利要求3所述的并行處理器，其特征在于：所述線程管理單元包括用于配置線程的線程控制寄存器，所述線程控制寄存器包括：用于表明任務程序的起始物理地址的起始程序指針寄存器，用于表明一個線程的線程本地存儲區域的起始地址的本地存儲區域起始基點寄存器，用于表明線程全局存儲區域的起始地址的全局存儲區域起始基點寄存器，用于表明一個線程工作組/工作項配置信息的線程配置寄存器組，以及用于表明一個線程的線程標識的配置寄存器。

9.根據權利要求3所述的并行處理器，其特征在于：所述線程管理單元依據線程的輸入數據狀態以及并行處理器的硬件資源來確定是否激活相應線程。

10.一種有效消除數據訪問延遲的并行數據處理方法，其特征在于：在權利要求3至9中任一項所述的并行處理器中對線程進行并行處理，包括如下步驟：

a、配置所述并行處理器中的線程管理單元，分配各個線程的資源；

b、根據所述線程處理引擎的狀態及待處理線程隊列狀態，將待處理線程隊列中的線程送入所述線程處理引擎；

c、所述線程處理引擎處理送入的線程，使之運行；

所述步驟a進一步包括：

a1、配置該并行處理器運行程序的程序指針寄存器，配置并行處理器內各個線程的本地存儲區域起始基點寄存器，配置并行處理器內線程的全局存儲區域起始基點寄存器，配置并行處理器內各個線程的工作組/工作項的線程配置寄存器組；

所述步驟b進一步包括：

b1、將待處理線程隊列劃分為多個組，每個組包含若干個線程，每個組組成一個1維多線程，若線程處理引擎存在空閑硬件計算資源，則把待處理線程的組一起送入所述線程處理引擎，多個空閑的組之間按輪詢的機制進行調度；

所述步驟c進一步包括：

c1、線程處理引擎實現多級流水線設計，每個時鐘都訪問不同組的指令，若干時鐘后回到訪問最初組的下一條指令；

c2、線程處理引擎每級流水都同時傳遞著每個線程的線程標識，當線程處理引擎到達執行流水階段時，如果數據加載與存儲指令訪問的地址沒在數據緩存時，該組涉及到的多個線程均被調度出線程處理引擎，同時釋放出該組占據的硬件時間片資源；

c3、當取值和執行階段之間相隔達到設定時間時，每個組執行跳轉指令時將會沒有代價，也就達到最佳指令執行效率。