[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)處理裝置、方法和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201911420592.1
• 申請(qǐng)日: 2019-12-31
• 公開(kāi)（公告）號(hào): CN111126589B
• 公開(kāi)（公告）日: 2022-05-20
• 發(fā)明（設(shè)計(jì)）人: 李浩洋;阮元;李宇鵬
• 申請(qǐng)（專利權(quán)）人: 昆侖芯（北京）科技有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063
• 代理公司: 北京銀龍知識(shí)產(chǎn)權(quán)代理有限公司 11243
• 代理人: 許靜;黃燦

公開(kāi)了一種神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)處理裝置、方法和電子設(shè)備，涉及人工智能芯片技術(shù)領(lǐng)域。具體實(shí)現(xiàn)方案為：指令解析模塊，用于將DMA任務(wù)拆分成多個(gè)子任務(wù)，以及獲取每個(gè)子任務(wù)對(duì)應(yīng)的數(shù)據(jù)子分塊的配置信息，其中，子任務(wù)與神經(jīng)網(wǎng)絡(luò)搬運(yùn)數(shù)據(jù)中的數(shù)據(jù)子分塊一一對(duì)應(yīng)；數(shù)據(jù)讀取模塊，用于依據(jù)配置信息，讀取第一數(shù)據(jù)子分塊，其中，第一數(shù)據(jù)子分塊為多個(gè)子任務(wù)對(duì)應(yīng)的數(shù)據(jù)子分塊中的數(shù)據(jù)子分塊；數(shù)據(jù)處理模塊，用于對(duì)第一數(shù)據(jù)子分塊進(jìn)行壓縮；數(shù)據(jù)寫出模塊，用于輸出第一數(shù)據(jù)子分塊經(jīng)過(guò)壓縮的壓縮數(shù)據(jù)。這樣本申請(qǐng)通過(guò)對(duì)數(shù)據(jù)子分塊壓縮，提升了神經(jīng)網(wǎng)絡(luò)處理器的等效帶寬，所以克服了神經(jīng)網(wǎng)絡(luò)的性能比較差的技術(shù)問(wèn)題，進(jìn)而達(dá)到提高神經(jīng)網(wǎng)絡(luò)的性能的技術(shù)效果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)中的人工智能芯片技術(shù)領(lǐng)域，尤其涉及一種神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)處理裝置、方法和電子設(shè)備。

背景技術(shù)

目前神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用，例如：深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional DeepNueral Networks，CDNN)被廣泛應(yīng)用于互聯(lián)網(wǎng)應(yīng)用，如語(yǔ)音識(shí)別，圖像識(shí)別，自然語(yǔ)言處理等應(yīng)用。然而，神經(jīng)網(wǎng)絡(luò)計(jì)算往往在神經(jīng)網(wǎng)絡(luò)處理器(Neural Processing Unit，NPU)內(nèi)完成，而在執(zhí)行神經(jīng)網(wǎng)絡(luò)計(jì)算后，需要將計(jì)算結(jié)果搬回片外存儲(chǔ)器；由于片外存儲(chǔ)器的帶寬有限，在許多實(shí)際業(yè)務(wù)場(chǎng)景中，片內(nèi)外數(shù)據(jù)搬運(yùn)時(shí)間會(huì)超過(guò)實(shí)際計(jì)算時(shí)間，從而導(dǎo)致神經(jīng)網(wǎng)絡(luò)的性能比較差。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)處理裝置、方法和電子設(shè)備，以解決神經(jīng)網(wǎng)絡(luò)的性能比較差的問(wèn)題。

第一方面，本申請(qǐng)?zhí)峁┮环N神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)處理裝置，包括：

指令解析模塊，用于將直接存儲(chǔ)訪問(wèn)(Direct-Memory Access，DMA)任務(wù)拆分成多個(gè)子任務(wù)，以及獲取每個(gè)子任務(wù)對(duì)應(yīng)的數(shù)據(jù)子分塊的配置信息，其中，子任務(wù)與神經(jīng)網(wǎng)絡(luò)搬運(yùn)數(shù)據(jù)中的數(shù)據(jù)子分塊一一對(duì)應(yīng)；

數(shù)據(jù)讀取模塊，用于依據(jù)所述配置信息，讀取第一數(shù)據(jù)子分塊，其中，所述第一數(shù)據(jù)子分塊為所述多個(gè)子任務(wù)對(duì)應(yīng)的數(shù)據(jù)子分塊中的數(shù)據(jù)子分塊；

數(shù)據(jù)處理模塊，用于對(duì)所述第一數(shù)據(jù)子分塊進(jìn)行壓縮；

數(shù)據(jù)寫出模塊，用于輸出所述第一數(shù)據(jù)子分塊經(jīng)過(guò)所述壓縮的壓縮數(shù)據(jù)。

由于按照數(shù)據(jù)子分塊進(jìn)行壓縮，從而可以提高數(shù)據(jù)搬運(yùn)的效率，進(jìn)而提高神經(jīng)網(wǎng)絡(luò)的性能。

可選的，所述數(shù)據(jù)處理模塊還用于對(duì)所述第一數(shù)據(jù)子分塊進(jìn)行數(shù)據(jù)處理。

由于對(duì)第一數(shù)據(jù)子分塊進(jìn)行數(shù)據(jù)處理，從而可以提高上述裝置的數(shù)據(jù)處理性能。

可選的，所述數(shù)據(jù)處理模塊包括：

原始數(shù)據(jù)緩存，用于緩存所述第一數(shù)據(jù)子分塊；

壓縮算法模塊，用于對(duì)所述第一數(shù)據(jù)子分塊進(jìn)行壓縮，得到所述第一數(shù)據(jù)子分塊經(jīng)過(guò)所述壓縮的壓縮數(shù)據(jù)；

長(zhǎng)度字段緩存，用于緩存所述壓縮數(shù)據(jù)的長(zhǎng)度；

壓縮控制狀態(tài)機(jī)，用于依據(jù)所述第一數(shù)據(jù)子分塊的長(zhǎng)度和所述壓縮數(shù)據(jù)的長(zhǎng)度判斷所述第一數(shù)據(jù)子分塊存在壓縮收益，則產(chǎn)生第一選通信號(hào)，若依據(jù)所述第一數(shù)據(jù)子分塊的長(zhǎng)度和所述壓縮數(shù)據(jù)的長(zhǎng)度判斷所述第一數(shù)據(jù)子分塊不存在壓縮收益，則產(chǎn)生第二選通信號(hào)，若所述長(zhǎng)度緩存沒(méi)有命中，則產(chǎn)生第三選通信號(hào)；

多路選取器，用于依據(jù)所述第一選通信號(hào)從所述壓縮算法模塊讀取所述壓縮數(shù)據(jù)，或者，依據(jù)所述第二選通信號(hào)從所述原始數(shù)據(jù)緩存讀取所述第一數(shù)據(jù)子分塊，或者依據(jù)所述第三選通信號(hào)從所述長(zhǎng)度字段緩存讀取所述長(zhǎng)度。

該實(shí)施方式中，可以通過(guò)上述壓縮控制狀態(tài)機(jī)控制多路選取器輸出合適的數(shù)據(jù)，這樣可以實(shí)現(xiàn)數(shù)據(jù)長(zhǎng)度可控，以避免預(yù)留過(guò)大的存儲(chǔ)空間，以達(dá)到節(jié)約存儲(chǔ)空間的效果。