[發(fā)明專利]AIGPU架構(gòu)中URF寄存器的數(shù)據(jù)寫入方法

有效

• 申請?zhí)枺?/td>: 202111646826.1
• 申請日: 2021-12-29
• 公開（公告）號: CN114281414B
• 公開（公告）日: 2022-12-27
• 發(fā)明（設(shè)計）人: 葛建明;李甲;滿新攀;常亮;王磊;徐立寶;姚飛;仇小鋼
• 申請（專利權(quán)）人: 海飛科（南京）信息技術(shù)有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38;G06F9/30
• 代理公司: 南京天華專利代理有限責任公司 32218
• 代理人: 劉暢;競存

本發(fā)明公開了一種AIGPU架構(gòu)中URF寄存器的數(shù)據(jù)寫入方法，其特征在于通過設(shè)置指令，將SIMT線程寄存器的數(shù)據(jù)直接寫入URF寄存器；所述指令規(guī)定：?SIMT線程寄存器A，?URF寄存器C，?線程i。選擇線程i將其SIMT線程寄存器A中的數(shù)據(jù)直接寫入URF寄存器C中。本發(fā)明提出的一條專用的指令可以將數(shù)據(jù)直接從SIMT線程寄存器搬到URF寄存器中，而無需經(jīng)由存儲器轉(zhuǎn)運。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲領(lǐng)域，具體是一種AIGPU架構(gòu)中URF寄存器的數(shù)據(jù)寫入方法。

背景技術(shù)

SIMT并行計算

SIMT(單指令流多線程)是一種高性能計算機架構(gòu)，特別適合數(shù)據(jù)并行計算。SIMT是由nVidia公司首先引入的，是SIMD(單指令流多數(shù)據(jù)流)架構(gòu)的一種擴展。

·基本執(zhí)行單元是線程(thread)，多個線程可以組合成一個塊(block)。一個塊中的全部線程執(zhí)行相同的指令序列。

·SIMT把在長向量的每個元素上進行操作的指令序列看作是是一個線程，一個塊中的線程同步執(zhí)行同樣的指令，因此實現(xiàn)數(shù)據(jù)并行計算。

·SIMT中的數(shù)據(jù)計算通道也可以并發(fā)執(zhí)行幾個線程，每個屬于不同的warp或者不同的block，每個有自己的寄存器堆。

·SIMT計算機允許單個線程的分支執(zhí)行，每個線程執(zhí)行的指令序列因各個線程的狀態(tài)不同而不同。

SIMT對應(yīng)的是數(shù)據(jù)并行編程模型，享有從任意向量到固定結(jié)構(gòu)機器的靈活映射方式。出于對性能的考慮，需要減少SIMT計算中的線程分支，進而維持系統(tǒng)的利用率并降低功耗。SIMT架構(gòu)可以通過warp切換和流處理來降低存取延遲。

AIGPU架構(gòu)簡介

AIGPU芯片的頂層架構(gòu)如圖1所示。AIGPU芯片的特點在于，

·它采用了片上虛擬存儲，一種與眾不同的存儲系統(tǒng)。

·它使用了粗顆粒的計算分割與數(shù)據(jù)管理來解決數(shù)據(jù)相關(guān)性，這不同于超標量硬件機器或者codelet軟件數(shù)據(jù)流。

·AIGPU粗顆粒的相關(guān)性管理方式允許使用命令來實現(xiàn)，為軟件架構(gòu)師和程序員提供了自主控制和優(yōu)化程序的手段。

芯片由主機(host)及其運行時來控制。主機將需要執(zhí)行的命令發(fā)送到AIGPU器件，其中的SP對命令做出分析，然后將一系列的操作交給PE和DMA執(zhí)行。

AIGPU的重要特點是片上虛擬存儲采用分段結(jié)構(gòu)，可以直接支持張量存儲，存儲數(shù)據(jù)結(jié)構(gòu)化而且具有明確的張量語義。一個張量一般存儲在一個段中。使用數(shù)個張量的Kernel程序可以擁有數(shù)個段。一種實現(xiàn)是每個程序有16個段。

一個kernel可以分配到幾個PEs上執(zhí)行，每個PE執(zhí)行部分計算并使用段的一部分。

·每個段都有自己獨立的地址空間。

·每個段可以定義一個1D、2D、3D或者4D的張量存儲結(jié)構(gòu)。

·存儲地址的構(gòu)成是segment_id:RFoffset:immediate offset一個段含包含數(shù)個頁。

·每個頁是多維的，1D,2D,3D,或者4D；是與段的維數(shù)相同的張量。

·每個頁在頁表中都有一項,可以用來做地址翻譯，以及檢查該頁是否準備完畢；在一個PE使用完該頁后，將v-counter的值遞減。

段存儲結(jié)構(gòu)–存儲段結(jié)構(gòu)為Kernel程序使用。

1.虛擬存儲按照段(segment)來組織，每個Kernel可以使用幾個段。