[發(fā)明專利]對(duì)片上緩存友好的維度變換裝置及神經(jīng)網(wǎng)絡(luò)處理器

在審

• 申請?zhí)枺?/td>: 202210335890.6
• 申請日: 2022-03-31
• 公開（公告）號(hào): CN114840470A
• 公開（公告）日: 2022-08-02
• 發(fā)明（設(shè)計(jì)）人: 謝耀;李智
• 申請（專利權(quán)）人: 成都登臨科技有限公司;上海登臨科技有限公司
• 主分類號(hào): G06F15/78
• 分類號(hào): G06F15/78;G06N3/063;G06M1/272
• 代理公司: 北京泛華偉業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11280
• 代理人: 王勇;蘇曉麗

本申請?zhí)峁┝藢?duì)片上緩存友好的維度變換裝置，其包括控制模塊、由多個(gè)存儲(chǔ)塊構(gòu)成的數(shù)據(jù)緩存模塊、寫入控制模塊和讀出控制模塊。控制模塊在接收待處理的數(shù)據(jù)搬運(yùn)指令的同時(shí)獲取與該指令相關(guān)的配置信息，響應(yīng)于確定配置信息中輸入數(shù)據(jù)維度和輸出數(shù)據(jù)維度不匹配，根據(jù)配置信息生成相應(yīng)的輸入地址以按照輸出數(shù)據(jù)維度信息從低維到高維的順序從外部存儲(chǔ)單元讀取相應(yīng)數(shù)據(jù)，通過寫入控制模塊將來自外部存儲(chǔ)單元的輸入數(shù)據(jù)寫入至數(shù)據(jù)緩存模塊中，并通過讀出控制模塊從數(shù)據(jù)緩存模塊中讀取數(shù)據(jù)以進(jìn)行輸出。該維度變換裝置能在不降低片上緩存訪問效率的前提下有效地完成數(shù)據(jù)維度變換。

技術(shù)領(lǐng)域

本申請涉及神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)處理技術(shù)，尤其涉及適用于神經(jīng)網(wǎng)絡(luò)處理器中數(shù)據(jù)維度變換裝置。

背景技術(shù)

本部分的陳述僅僅是為了提供與本申請的技術(shù)方案有關(guān)的背景信息，以幫助理解，其對(duì)于本申請的技術(shù)方案而言并不一定構(gòu)成現(xiàn)有技術(shù)。

人工智能(AI)技術(shù)在近些年來得到了迅猛的發(fā)展，已經(jīng)滲透至視覺感知、語音識(shí)別、輔助駕駛、智能家居、交通調(diào)度等各個(gè)領(lǐng)域。很多AI算法都涉及到基于神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和計(jì)算，例如卷積神經(jīng)網(wǎng)絡(luò)CNN、循環(huán)神經(jīng)網(wǎng)絡(luò)RNN、深度神經(jīng)網(wǎng)絡(luò)DNN等等。這些AI算法經(jīng)常涉及多層結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)和由多個(gè)神經(jīng)網(wǎng)絡(luò)構(gòu)成的學(xué)習(xí)模型，要求較強(qiáng)的并行計(jì)算能力以處理海量數(shù)據(jù)，因此通常采用諸如GPU、GPGPU、AI加速芯片之類的能支持多核心并行計(jì)算的處理器來執(zhí)行相關(guān)的神經(jīng)網(wǎng)絡(luò)運(yùn)算。這些處理器中經(jīng)常需要將同一批數(shù)據(jù)提供給神經(jīng)網(wǎng)絡(luò)的不同層或提供給不同的神經(jīng)網(wǎng)絡(luò)，而這些神經(jīng)網(wǎng)絡(luò)的不同層或不同神經(jīng)網(wǎng)絡(luò)之間所需數(shù)據(jù)的格式和維度往往有所不同。

以卷積神經(jīng)網(wǎng)絡(luò)為例，該神經(jīng)網(wǎng)絡(luò)中每個(gè)層利用輸入的特征數(shù)據(jù)與該層相關(guān)的參數(shù)(例如，卷積參數(shù)等)執(zhí)行該層的相關(guān)運(yùn)算(例如，卷積運(yùn)算等)。其中特征數(shù)據(jù)也可以被稱為特征圖，其可以被視為具有一定的寬度和高度的數(shù)據(jù)塊。每一層所獲得的輸出的特征數(shù)據(jù)可以作為下一層的輸入特征數(shù)據(jù)提供給下一層，但由于每個(gè)層的節(jié)點(diǎn)數(shù)和運(yùn)算方式不同，所需的輸入特征數(shù)據(jù)的維度、排列、格式等往往會(huì)有所不同。現(xiàn)有的軟件編程的方式通過從片上緩存讀出待處理的數(shù)據(jù)至存儲(chǔ)器，進(jìn)行軟件維度變換后再從存儲(chǔ)器寫入片上緩存，實(shí)現(xiàn)了不同層或不同網(wǎng)絡(luò)之間數(shù)據(jù)匹配問題。但這種方式不僅增加了AI算法的軟件復(fù)雜度，還增加了芯片的訪存開銷并降低了芯片的吞吐量。

需要說明的是，上述內(nèi)容僅用于幫助理解本申請的技術(shù)方案，并不作為評(píng)價(jià)本申請的現(xiàn)有技術(shù)的依據(jù)。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N對(duì)片上緩存友好的維度變換裝置，能在不降低片上緩存訪問效率的前提下有效地完成數(shù)據(jù)維度變換。

上述目的是通過以下技術(shù)方案實(shí)現(xiàn)的：

根據(jù)本申請實(shí)施例的第一方面，提供了一種對(duì)片上緩存友好的維度變換模塊，包括控制模塊、由多個(gè)存儲(chǔ)塊構(gòu)成的數(shù)據(jù)緩存模塊、寫入控制模塊和讀出控制模塊。控制模塊在接收待處理的數(shù)據(jù)搬運(yùn)指令的同時(shí)獲取與該指令相關(guān)的配置信息，所述配置信息至少包括輸入數(shù)據(jù)和輸出數(shù)據(jù)的基地址信息、輸入數(shù)據(jù)和輸出數(shù)據(jù)的維度信息、輸入數(shù)據(jù)和輸出數(shù)據(jù)各維度的數(shù)據(jù)大小和數(shù)據(jù)步長。控制模塊利用收到的配置信息生成相應(yīng)輸入地址以按照輸出數(shù)據(jù)維度從低維到高維的順序讀取相應(yīng)數(shù)據(jù)。寫入控制模塊將來自外部存儲(chǔ)單元的輸入數(shù)據(jù)寫入至數(shù)據(jù)緩存模塊中。讀出控制模塊根據(jù)控制模塊的指示從數(shù)據(jù)緩存模塊中讀取數(shù)據(jù)以進(jìn)行輸出。