[發(fā)明專利]數(shù)據(jù)讀取方法和數(shù)據(jù)讀取電路

有效

• 申請?zhí)枺?/td>: 202011353109.5
• 申請日: 2020-11-27
• 公開（公告）號: CN112506567B
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計）人: 左航;韓潔;盧一帆
• 申請（專利權(quán)）人: 海光信息技術(shù)股份有限公司
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06F9/38;G06F17/16
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 彭久云;羅莎

一種數(shù)據(jù)讀取方法和數(shù)據(jù)讀取電路。該數(shù)據(jù)讀取方法應(yīng)用于矩陣乘法運算，且包括：獲取與當(dāng)前線程束對應(yīng)的第一矩陣緩存指令，其中，第一矩陣緩存指令用于實現(xiàn)對第一矩陣的數(shù)據(jù)進(jìn)行讀取；解析第一矩陣緩存指令，以獲得與當(dāng)前線程束所需的第一矩陣中的P個數(shù)據(jù)對應(yīng)的第一讀基地址、第一排序控制信息和第一寫基地址，其中，P為正整數(shù)；基于第一讀基地址和第一排序控制信息，從存儲器上讀取P個數(shù)據(jù)；基于第一寫基地址和第一排序控制信息，按照執(zhí)行矩陣乘法運算時P個數(shù)據(jù)對應(yīng)的存儲地址將P個數(shù)據(jù)寫入與當(dāng)前線程束對應(yīng)的單指令多數(shù)據(jù)流單元的多個矢量通用寄存器片上。

技術(shù)領(lǐng)域

本公開的實施例涉及矩陣運算領(lǐng)域，并且更具體地，涉及一種數(shù)據(jù)讀取方法和數(shù)據(jù)讀取電路。

背景技術(shù)

圖形處理器(GPU，Graphics-Processor-Unit)包括多個計算單元(CU，Compute-Unit)，每個計算單元包括多個單指令多數(shù)據(jù)流結(jié)構(gòu)和片上存儲器。每個單指令多數(shù)據(jù)流包括一組矢量通用寄存器和算術(shù)邏輯單元(ALU，arithmetic and logic unit)。單指令多數(shù)據(jù)流是GPU中執(zhí)行并行計算的最小單元，可以通過執(zhí)行一條指令同時控制多個線程執(zhí)行相同的操作。因為單指令多數(shù)據(jù)流具有高度的并行性，所以單指令多數(shù)據(jù)流被廣泛應(yīng)用于矩陣運算。

發(fā)明內(nèi)容

本公開至少一實施例提供一種數(shù)據(jù)讀取方法，應(yīng)用于矩陣乘法運算，其中，所述數(shù)據(jù)讀取方法包括：獲取與當(dāng)前線程束對應(yīng)的第一矩陣緩存指令，其中，所述第一矩陣緩存指令用于實現(xiàn)對第一矩陣的數(shù)據(jù)進(jìn)行讀取；解析所述第一矩陣緩存指令，以獲得與所述當(dāng)前線程束所需的所述第一矩陣中的P個數(shù)據(jù)對應(yīng)的第一讀基地址、第一排序控制信息和第一寫基地址，其中，P為正整數(shù)；基于所述第一讀基地址和所述第一排序控制信息，從存儲器上讀取所述P個數(shù)據(jù)；基于所述第一寫基地址和所述第一排序控制信息，按照執(zhí)行所述矩陣乘法運算時所述P個數(shù)據(jù)對應(yīng)的存儲地址將P個數(shù)據(jù)寫入與所述當(dāng)前線程束對應(yīng)的單指令多數(shù)據(jù)流單元的多個矢量通用寄存器片上。

例如，在本公開一實施例提供的數(shù)據(jù)讀取方法中，解析第一矩陣緩存指令，以獲得所述第一排序控制信息，包括：解析所述第一矩陣緩存指令，以得到封裝在所述第一矩陣緩存指令中的指令操作碼、工作組尺寸、地址偏移量、地址步長、矩陣信息和運算參數(shù)，其中，所述第一排序控制信息包括所述指令操作碼、所述工作組尺寸、所述地址偏移量、所述地址步長、所述矩陣信息和所述運算參數(shù)，所述矩陣乘法運算用于實現(xiàn)將第一運算矩陣和第二運算矩陣進(jìn)行乘法計算，所述第一運算矩陣表示為M*K，所述第二運算矩陣表示為K*N，所述運算參數(shù)為K，其中，M、K、N均為正整數(shù)，所述矩陣信息用于指示所述第一矩陣為所述第一運算矩陣或所述第二運算矩陣以及所述第一矩陣是否被轉(zhuǎn)置，在所述第一矩陣為所述第一運算矩陣的情況下，所述地址步長表示所述第一矩陣的相鄰兩列數(shù)據(jù)之間的步長，在所述第一矩陣為所述第二運算矩陣的情況下，所述地址步長表示所述第一矩陣的相鄰兩行數(shù)據(jù)之間的步長。

例如，在本公開一實施例提供的數(shù)據(jù)讀取方法中，基于所述第一讀基地址和所述第一排序控制信息，從存儲器上讀取所述P個數(shù)據(jù)，包括：根據(jù)所述第一讀基地址和所述第一排序控制信息，計算得到與所述第一讀基地址對應(yīng)的多個存儲器地址；基于所述多個存儲器地址，從所述存儲器上讀取多個待處理數(shù)據(jù)，其中，所述多個待處理數(shù)據(jù)表示存儲在所述存儲器的所述多個存儲器地址中的數(shù)據(jù)；基于所述第一排序控制信息，從所述多個待處理數(shù)據(jù)中獲取所述當(dāng)前線程束所需的所述P個數(shù)據(jù)。

例如，在本公開一實施例提供的數(shù)據(jù)讀取方法中，所述第一矩陣包括多個第一數(shù)據(jù)塊，根據(jù)所述第一讀基地址和所述第一排序控制信息，計算得到與所述第一讀基地址對應(yīng)的多個存儲器地址，包括：根據(jù)所述指令操作碼、所述工作組尺寸和所述矩陣信息，確定所述多個第一數(shù)據(jù)塊中與所述當(dāng)前線程束對應(yīng)的至少一個第一數(shù)據(jù)塊，其中，所述至少一個第一數(shù)據(jù)塊包括所述多個待處理數(shù)據(jù)；根據(jù)所述至少一個第一數(shù)據(jù)塊的數(shù)量和所述運算參數(shù)，控制循環(huán)狀態(tài)并輸出循環(huán)參數(shù)；基于所述至少一個第一數(shù)據(jù)塊中的每個第一數(shù)據(jù)塊的尺寸、所述循環(huán)參數(shù)、所述第一讀基地址、所述地址步長和所述地址偏移量，計算得到所述多個存儲器地址。