[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)模型運(yùn)算芯片、方法、裝置、設(shè)備及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010780693.6
• 申請(qǐng)日: 2020-08-06
• 公開（公告）號(hào): CN111651207B
• 公開（公告）日: 2020-11-17
• 發(fā)明（設(shè)計(jì)）人: 孟玉
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F9/30
• 分類號(hào): G06F9/30;G06F9/34;G06N3/063;G06N3/04
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);杜維

本申請(qǐng)實(shí)施例涉及人工智能技術(shù)領(lǐng)域，公開了一種神經(jīng)網(wǎng)絡(luò)模型運(yùn)算芯片、方法、裝置、設(shè)備及介質(zhì)，其中方法包括：從關(guān)于目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的混合指令集中獲取當(dāng)前待執(zhí)行指令，若當(dāng)前待執(zhí)行指令為控制信息，則將逐條獲取并執(zhí)行控制信息中的各條控制指令，得到的目標(biāo)原始指令對(duì)應(yīng)的更新指令確定為目標(biāo)指令。進(jìn)一步地，解析目標(biāo)指令，并基于解析結(jié)果調(diào)度目標(biāo)引擎執(zhí)行目標(biāo)指令指示的目標(biāo)操作。可以在內(nèi)部在線更新指令，減少與其它設(shè)備（如通用處理器）的交互，更加高效地實(shí)現(xiàn)對(duì)需要在線更新參數(shù)的模型的運(yùn)算。

技術(shù)領(lǐng)域

本申請(qǐng)涉及互聯(lián)網(wǎng)技術(shù)領(lǐng)域，具體涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)模型運(yùn)算芯片、一種神經(jīng)網(wǎng)絡(luò)模型運(yùn)算方法、一種神經(jīng)網(wǎng)絡(luò)模型運(yùn)算裝置、一種計(jì)算機(jī)設(shè)備及一種計(jì)算機(jī)存儲(chǔ)介質(zhì)。

背景技術(shù)

神經(jīng)網(wǎng)絡(luò)模型在具體領(lǐng)域應(yīng)用時(shí)，硬件系統(tǒng)通常以異構(gòu)網(wǎng)絡(luò)的形式組成（例如圖1所示），由神經(jīng)網(wǎng)絡(luò)模型運(yùn)算芯片和通用處理器配合使用。神經(jīng)網(wǎng)絡(luò)模型運(yùn)算芯片專注于神經(jīng)網(wǎng)絡(luò)模型密集計(jì)算的加速，通用處理器用來完成神經(jīng)網(wǎng)絡(luò)模型前處理（比如圖片的尺寸裁剪等）和后處理（比如圖片信息的標(biāo)注等）等工作，這部分工作計(jì)算不夠密集，特點(diǎn)在于靈活性要求高，常規(guī)的通用處理器可以完成。

為了應(yīng)對(duì)不同的神經(jīng)網(wǎng)絡(luò)模型，目前主要通過提前編譯整個(gè)神經(jīng)網(wǎng)絡(luò)模型的靜態(tài)指令，再通過指令驅(qū)動(dòng)神經(jīng)網(wǎng)絡(luò)模型運(yùn)算芯片的方式進(jìn)行神經(jīng)網(wǎng)絡(luò)模型的運(yùn)算。但隨著一些需要在線更新參數(shù)的模型出現(xiàn)，例如，NLP (Nature Language processing，自然語言處理)的譯碼階段，有些模型需要邊識(shí)別，邊分析譯碼的結(jié)果是否是EOF（End Of File，文件結(jié)束符），進(jìn)而決定是否停止。又例如，transformer模型的譯碼階段的pushback運(yùn)算，反饋回來的輸入序列長度參數(shù)也需要變化。這些變化，在編譯階段是無法獲取的信息，只能在具體的數(shù)據(jù)輸入模型，計(jì)算后才可以獲得。可見，現(xiàn)有通過整個(gè)神經(jīng)網(wǎng)絡(luò)模型的靜態(tài)編譯指令，驅(qū)動(dòng)神經(jīng)網(wǎng)絡(luò)模型運(yùn)算芯片進(jìn)行神經(jīng)網(wǎng)絡(luò)模型運(yùn)算的處理方式，無法適用于需要在線更新參數(shù)的模型。因此，如何實(shí)現(xiàn)對(duì)需要在線更新參數(shù)的模型的運(yùn)算，成為一個(gè)亟待解決的問題。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)模型運(yùn)算芯片、方法、裝置、設(shè)備及介質(zhì)，可以在芯片內(nèi)部在線更新指令，減少與其它設(shè)備的交互，高效地實(shí)現(xiàn)對(duì)需要在線更新參數(shù)的模型的運(yùn)算。

一方面，本申請(qǐng)實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)模型運(yùn)算芯片，該芯片包括指令處理單元、指令解析單元、調(diào)度單元和用于數(shù)據(jù)搬移與運(yùn)算的執(zhí)行單元，該執(zhí)行單元包括預(yù)配置的多個(gè)引擎，其中：

指令處理單元，用于向指令解析單元提供目標(biāo)指令，目標(biāo)指令包括目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的原始指令，或者基于目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的控制信息對(duì)目標(biāo)原始指令更新后得到的更新指令，目標(biāo)原始指令為目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的原始指令中與控制信息匹配的原始指令；

指令解析單元，用于解析目標(biāo)指令，并將解析結(jié)果輸入調(diào)度單元；

調(diào)度單元，用于基于解析結(jié)果調(diào)度目標(biāo)引擎執(zhí)行目標(biāo)指令指示的目標(biāo)操作，目標(biāo)操作包括運(yùn)算操作或數(shù)據(jù)搬移操作，目標(biāo)引擎為所述執(zhí)行單元中的任一個(gè)引擎。

另一方面，本申請(qǐng)實(shí)施例提供了一種神經(jīng)網(wǎng)絡(luò)模型運(yùn)算方法，該方法包括：

從關(guān)于目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的混合指令集中獲取當(dāng)前待執(zhí)行指令，混合指令集中包括N條待執(zhí)行指令，混合指令集是基于目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的模型數(shù)據(jù)預(yù)先編譯得到的，N條待執(zhí)行指令中包括原始指令和/或用于對(duì)目標(biāo)神經(jīng)網(wǎng)絡(luò)模型的目標(biāo)原始指令進(jìn)行更新的控制信息，N為大于1的整數(shù)；

基于當(dāng)前待執(zhí)行指令確定目標(biāo)指令；其中，若當(dāng)前待執(zhí)行指令為控制信息，則目標(biāo)指令為逐條獲取并執(zhí)行控制信息中的各條控制指令，得到的目標(biāo)原始指令對(duì)應(yīng)的更新指令；

解析目標(biāo)指令，并基于解析結(jié)果調(diào)度目標(biāo)引擎執(zhí)行目標(biāo)指令指示的目標(biāo)操作，目標(biāo)操作包括運(yùn)算操作或數(shù)據(jù)搬移操作，目標(biāo)引擎為預(yù)配置的多個(gè)引擎中的任一個(gè)。