[發(fā)明專利]基于批數(shù)據(jù)的AI芯片片上網(wǎng)絡(luò)調(diào)度方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010315235.5
• 申請(qǐng)日: 2020-04-21
• 公開（公告）號(hào): CN111625325A
• 公開（公告）日: 2020-09-04
• 發(fā)明（設(shè)計(jì)）人: 李先彧;鄒云曉
• 申請(qǐng)（專利權(quán)）人: 上海天數(shù)智芯半導(dǎo)體有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F9/50
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 陳月菊

本發(fā)明公開了一種基于批數(shù)據(jù)的AI芯片片上網(wǎng)絡(luò)調(diào)度方法和裝置，將待計(jì)算的數(shù)據(jù)劃分成多個(gè)批數(shù)據(jù)，根據(jù)預(yù)設(shè)的分時(shí)復(fù)用調(diào)度策略，在讀取下一個(gè)批數(shù)據(jù)的同時(shí)，將當(dāng)前批數(shù)據(jù)采用片上總線發(fā)送至計(jì)算單元執(zhí)行矩陣運(yùn)算，有效提高了帶寬，同時(shí)利用預(yù)設(shè)的調(diào)度機(jī)制，將二級(jí)緩存的讀取效率提高到傳統(tǒng)讀取效率的兩倍甚至更多。

技術(shù)領(lǐng)域

本發(fā)明涉及AI芯片技術(shù)領(lǐng)域，具體而言涉及一種基于批數(shù)據(jù)的AI芯片片上網(wǎng)絡(luò)調(diào)度方法和裝置。

背景技術(shù)

AI應(yīng)用涉及的算法往往需要進(jìn)行大量的矩陣運(yùn)算，由于片內(nèi)資源的有限，矩陣常常是放在設(shè)備內(nèi)存，在進(jìn)行運(yùn)算時(shí)候再將待計(jì)算的數(shù)據(jù)從設(shè)備內(nèi)存讀取進(jìn)來(lái)。

而現(xiàn)有AI芯片中，多數(shù)采用逐級(jí)緩存讀取的機(jī)制從設(shè)備內(nèi)存將要進(jìn)行矩陣計(jì)算的數(shù)據(jù)陸續(xù)讀入ALU寄存器進(jìn)行計(jì)算，設(shè)備內(nèi)存一般由片上總線連接到處理單元，距離比較遠(yuǎn)加上本身處理時(shí)延，使得帶寬逐漸成為大數(shù)據(jù)計(jì)算的瓶頸。

發(fā)明內(nèi)容

本發(fā)明目的在于提供一種基于批數(shù)據(jù)的AI芯片片上網(wǎng)絡(luò)調(diào)度方法和裝置，將待計(jì)算的數(shù)據(jù)劃分成多個(gè)批數(shù)據(jù)，根據(jù)預(yù)設(shè)的分時(shí)復(fù)用調(diào)度策略，在讀取下一個(gè)批數(shù)據(jù)的同時(shí)，將當(dāng)前批數(shù)據(jù)采用片上總線發(fā)送至計(jì)算單元執(zhí)行矩陣運(yùn)算，有效提高了帶寬，同時(shí)利用預(yù)設(shè)的調(diào)度機(jī)制，將二級(jí)緩存的讀取效率提高到傳統(tǒng)讀取效率的兩倍甚至更多。

為達(dá)成上述目的，結(jié)合圖1，本發(fā)明提出一種基于批數(shù)據(jù)的AI芯片片上網(wǎng)絡(luò)調(diào)度方法，所述調(diào)度方法包括：

將待計(jì)算的數(shù)據(jù)劃分成多個(gè)批數(shù)據(jù)，根據(jù)預(yù)設(shè)的分時(shí)復(fù)用調(diào)度策略，在讀取下一個(gè)批數(shù)據(jù)的同時(shí)，將當(dāng)前批數(shù)據(jù)采用片上總線發(fā)送至計(jì)算單元執(zhí)行矩陣運(yùn)算。

作為其中的一種優(yōu)選例，所述調(diào)度方法還包括：

在矩陣計(jì)算過(guò)程中，采用二級(jí)緩存通過(guò)片上總線對(duì)存儲(chǔ)在設(shè)備內(nèi)存中的待計(jì)算的數(shù)據(jù)進(jìn)行讀取。

作為其中的一種優(yōu)選例，所述根據(jù)預(yù)設(shè)的分時(shí)復(fù)用調(diào)度策略，在讀取下一個(gè)批數(shù)據(jù)的同時(shí)，將當(dāng)前批數(shù)據(jù)采用片上總線發(fā)送至計(jì)算單元執(zhí)行矩陣運(yùn)算是指：

在同一個(gè)調(diào)度周期內(nèi)，采用第一路徑組從設(shè)備內(nèi)存中讀取新下一個(gè)批數(shù)據(jù)，同時(shí)，采用第二路徑組將當(dāng)前批數(shù)據(jù)發(fā)送至計(jì)算單元執(zhí)行矩陣運(yùn)算。

作為其中的一種優(yōu)選例，每個(gè)第二路徑對(duì)應(yīng)至少2個(gè)計(jì)算單元。

作為其中的一種優(yōu)選例，所述方法還包括：

將一個(gè)或多個(gè)路徑設(shè)置成高優(yōu)先級(jí)；

采用二維仲裁機(jī)制對(duì)路徑和計(jì)算單元的對(duì)應(yīng)關(guān)系進(jìn)行調(diào)整，以切換每個(gè)計(jì)算單元的優(yōu)先級(jí)關(guān)系。

作為其中的一種優(yōu)選例，所述二維仲裁機(jī)制是指：

其中一個(gè)路徑具有高優(yōu)先級(jí)，其他路徑優(yōu)先級(jí)相同，每個(gè)路徑對(duì)應(yīng)于至少一個(gè)計(jì)算單元，路徑與計(jì)算單元的對(duì)應(yīng)關(guān)系滿足以下性質(zhì)：

(1)在同一個(gè)調(diào)度周期內(nèi)，每個(gè)路徑對(duì)應(yīng)的計(jì)算單元不同；

(2)路徑與計(jì)算單元的對(duì)應(yīng)關(guān)系按照調(diào)度周期循環(huán)變更。

基于前述調(diào)度方法，本發(fā)明還提及一種基于批數(shù)據(jù)的AI芯片片上網(wǎng)絡(luò)調(diào)度裝置，所述調(diào)度裝置包括：

用于將待計(jì)算的數(shù)據(jù)劃分成多個(gè)批數(shù)據(jù)的模塊；

用于設(shè)置分時(shí)復(fù)用調(diào)度策略的模塊；

用于根據(jù)預(yù)設(shè)的分時(shí)復(fù)用調(diào)度策略，在讀取下一個(gè)批數(shù)據(jù)的同時(shí)，將當(dāng)前批數(shù)據(jù)采用片上總線發(fā)送至計(jì)算單元執(zhí)行矩陣運(yùn)算的模塊。

基于前述調(diào)度方法，本發(fā)明還提及一種基于批數(shù)據(jù)的AI芯片片上網(wǎng)絡(luò)調(diào)度系統(tǒng)，所述系統(tǒng)包括處理器和存儲(chǔ)器，所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)程序，所述處理器用于執(zhí)行存儲(chǔ)器中存儲(chǔ)的計(jì)算機(jī)程序以實(shí)現(xiàn)前述基于批數(shù)據(jù)的AI芯片片上網(wǎng)絡(luò)調(diào)度方法所包含的所有步驟。