[發(fā)明專利]一種人工神經(jīng)網(wǎng)絡(luò)運(yùn)算的裝置及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711418273.8
• 申請(qǐng)日: 2017-12-22
• 公開(kāi)（公告）號(hào): CN108320018B
• 公開(kāi)（公告）日: 2020-03-06
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 中科寒武紀(jì)科技股份有限公司;上海寒武紀(jì)信息科技有限公司
• 主分類號(hào): G06N3/063
• 分類號(hào): G06N3/063;G06N3/08
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 方丁一

一種人工神經(jīng)網(wǎng)絡(luò)運(yùn)算的裝置及方法，人工神經(jīng)網(wǎng)絡(luò)運(yùn)算的裝置包括：映射單元，接收輸入神經(jīng)元和權(quán)值，產(chǎn)生輸入神經(jīng)元和輸出神經(jīng)元的連接關(guān)系數(shù)據(jù)，輸出映射后的輸入神經(jīng)元和權(quán)值，所述映射后的輸入神經(jīng)元和權(quán)值的對(duì)應(yīng)關(guān)系為輸入神經(jīng)元?權(quán)值對(duì)，所述映射單元包括：第一映射單元，用于去除值為0或小于第一閾值的權(quán)值；和/或第二映射單元，用于去除值為0或小于第二閾值的輸入神經(jīng)元。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，更具體地涉及一種人工神經(jīng)網(wǎng)絡(luò)運(yùn)算的裝置和方法。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，ANNs)簡(jiǎn)稱為神經(jīng)網(wǎng)絡(luò)(NNs)，它是一種模仿動(dòng)物神經(jīng)網(wǎng)絡(luò)行為特征，進(jìn)行分布式并行信息處理的算法數(shù)學(xué)模型。這種網(wǎng)絡(luò)依靠系統(tǒng)的復(fù)雜程度，通過(guò)調(diào)整內(nèi)部大量節(jié)點(diǎn)之間的相互連接關(guān)系數(shù)據(jù)，從而達(dá)到處理信息的目的。神經(jīng)網(wǎng)絡(luò)用到的算法就是向量乘法，并且廣泛采用符號(hào)函數(shù)及其各種逼近。

神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于各種應(yīng)用場(chǎng)景：計(jì)算視覺(jué)、語(yǔ)音識(shí)別和自然語(yǔ)言處理等。在近幾年的時(shí)間里，神經(jīng)網(wǎng)絡(luò)的規(guī)模一直在增長(zhǎng)。在1998年，Lecun用于手寫字符識(shí)別的神經(jīng)網(wǎng)絡(luò)的規(guī)模小于1M個(gè)權(quán)值；在2012年，krizhevskV用于參加ImageNet競(jìng)賽的規(guī)模是60M個(gè)權(quán)值。

神經(jīng)網(wǎng)絡(luò)是一個(gè)高計(jì)算量和高訪存的應(yīng)用，權(quán)值越多，計(jì)算量和訪存量都會(huì)增大。隨著神經(jīng)網(wǎng)絡(luò)計(jì)算量和訪存量的急劇增大，現(xiàn)有技術(shù)中通常采用通用處理器計(jì)算人工神經(jīng)網(wǎng)絡(luò)。對(duì)于通用處理器，輸入神經(jīng)元、輸出神經(jīng)元和權(quán)重分別存儲(chǔ)在三個(gè)數(shù)組中，同時(shí)還有一個(gè)索引數(shù)組，索引數(shù)組存儲(chǔ)了每個(gè)輸出和輸入連接的連接關(guān)系數(shù)據(jù)。在計(jì)算時(shí)，主要的運(yùn)算是神經(jīng)元與權(quán)值相乘。由于權(quán)值和神經(jīng)元不是一一對(duì)應(yīng)的關(guān)系，所以每一次運(yùn)算都要通過(guò)索引數(shù)組找到神經(jīng)元對(duì)應(yīng)的權(quán)值。由于通用處理器計(jì)算能力和訪存能力都很弱，滿足不了神經(jīng)網(wǎng)絡(luò)的需求。而多個(gè)通用處理器并行執(zhí)行時(shí)，通用處理器之間相互通訊又成為了性能瓶頸。在計(jì)算剪枝之后的神經(jīng)網(wǎng)絡(luò)時(shí)，每次乘法運(yùn)算都要去索引數(shù)組里重新查找權(quán)值對(duì)應(yīng)的位置，增加了額外的計(jì)算量和訪存開(kāi)銷。因此計(jì)算神經(jīng)網(wǎng)絡(luò)耗時(shí)長(zhǎng)，功耗高。通用處理器需要把多層人工神經(jīng)網(wǎng)絡(luò)運(yùn)算譯碼成一長(zhǎng)列運(yùn)算及訪存指令序列，處理器前端譯碼帶來(lái)了較大的功耗開(kāi)銷。

另一種支持人工神經(jīng)網(wǎng)絡(luò)運(yùn)算及其訓(xùn)練算法的已知方法是使用圖形處理器(GPU)，該方法通過(guò)使用通用寄存器堆和通用流處理單元執(zhí)行通用SIMD指令來(lái)支持上述算法。但由于GPU是專門用來(lái)執(zhí)行圖形圖像運(yùn)算以及科學(xué)計(jì)算的設(shè)備，沒(méi)有對(duì)人工神經(jīng)網(wǎng)絡(luò)運(yùn)算的專門支持，仍然需要大量的前端譯碼工作才能執(zhí)行人工神經(jīng)網(wǎng)絡(luò)運(yùn)算，帶來(lái)了大量的額外開(kāi)銷。另外GPU只有較小的片上緩存，多層人工神經(jīng)網(wǎng)絡(luò)的模型數(shù)據(jù)(權(quán)值)需要反復(fù)從片外搬運(yùn)，片外帶寬成為了主要性能瓶頸，同時(shí)帶來(lái)了巨大的功耗開(kāi)銷。

發(fā)明內(nèi)容

鑒于現(xiàn)有方案存在的問(wèn)題，為了克服上述現(xiàn)有技術(shù)方案的不足，本發(fā)明提出了一種人工神經(jīng)網(wǎng)絡(luò)運(yùn)算的裝置和方法。

根據(jù)本發(fā)明的一方面，提供一種人工神經(jīng)網(wǎng)絡(luò)運(yùn)算的裝置，包括：映射單元，接收輸入神經(jīng)元和權(quán)值，產(chǎn)生輸入神經(jīng)元和輸出神經(jīng)元的連接關(guān)系數(shù)據(jù)，輸出映射后的輸入神經(jīng)元和權(quán)值，所述映射后的輸入神經(jīng)元和權(quán)值的對(duì)應(yīng)關(guān)系為輸入神經(jīng)元-權(quán)值對(duì)，所述映射單元包括：第一映射單元，用于去除值為0或小于第一閾值的權(quán)值；和/或第二映射單元，用于去除值為0或小于第二閾值的輸入神經(jīng)元。

在一些實(shí)施例中，第一映射單元包括：第一映射判斷單元，用于判斷每一輸入的權(quán)值的值是否為0或小于第一閾值；以及第一映射執(zhí)行單元，基于所述第一映射判斷單元的判斷結(jié)果產(chǎn)生所述連接關(guān)系數(shù)據(jù)，去除值為0或小于第一閾值的權(quán)值，輸出所述輸入神經(jīng)元-權(quán)值對(duì)；和/或第二映射單元包括：第二映射判斷單元，用于判斷每一輸入的輸入神經(jīng)元的值是否為0或小于第二閾值；以及第二映射執(zhí)行單元，基于所述第二映射判斷單元的判斷結(jié)果產(chǎn)生所述連接關(guān)系數(shù)據(jù)，去除值為0或小于第二閾值的輸入神經(jīng)元，輸出所述輸入神經(jīng)元-權(quán)值對(duì)。