[發(fā)明專(zhuān)利]一種神經(jīng)網(wǎng)絡(luò)的全局池化方法及眾核系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910796532.3
• 申請(qǐng)日: 2019-08-27
• 公開(kāi)（公告）號(hào): CN112446458A
• 公開(kāi)（公告）日: 2021-03-05
• 發(fā)明（設(shè)計(jì)）人: 戚海濤;李涵
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京靈汐科技有限公司
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/063;G06N3/08
• 代理公司: 北京麥寶利知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11733
• 代理人: 趙艷紅

本公開(kāi)提供了一種神經(jīng)網(wǎng)絡(luò)的全局池化方法及眾核系統(tǒng)，該方法包括：接收前一網(wǎng)絡(luò)層依次輸入的待處理數(shù)據(jù)的點(diǎn)數(shù)據(jù)；在每接收到一個(gè)點(diǎn)數(shù)據(jù)后，均基于當(dāng)前接收到的所述點(diǎn)數(shù)據(jù)執(zhí)行預(yù)設(shè)池化操作，直至所述待處理數(shù)據(jù)所有點(diǎn)數(shù)據(jù)池化完成。基于本公開(kāi)提供的方案可以在眾核系統(tǒng)行流水操作下運(yùn)用點(diǎn)操作代替圖操作，即每接收到一個(gè)點(diǎn)數(shù)據(jù)之后，均會(huì)對(duì)其處理一次得到一個(gè)中間池化結(jié)果，直到最后得到待處理數(shù)據(jù)的最終池化結(jié)果，從而減少計(jì)算延時(shí)。

技術(shù)領(lǐng)域

本公開(kāi)涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，特別是涉及一種神經(jīng)網(wǎng)絡(luò)的全局池化方法及眾核系統(tǒng)。

背景技術(shù)

隨著人工智能技術(shù)的不斷發(fā)展，深度學(xué)習(xí)的應(yīng)用也越來(lái)越廣泛。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)是一類(lèi)包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)(Feedforward Neural Networks)，是深度學(xué)習(xí)(deep learning)的代表算法之一。傳統(tǒng)的CNN最后一層都是全連接層，參數(shù)個(gè)數(shù)非常之多，容易引起過(guò)擬合(如Alexnet)，一個(gè)CNN模型，大部分的參數(shù)都被全連接層給占用了，影響處理速度，增加處理時(shí)間。因此，提出采用了全局均值池化替代全連接層的方案。然而，相關(guān)技術(shù)中，全局池化的計(jì)算延遲較長(zhǎng)。

發(fā)明內(nèi)容

鑒于上述問(wèn)題，本公開(kāi)提供了一種克服上述問(wèn)題或至少部分地解決了上述問(wèn)題的一種神經(jīng)網(wǎng)絡(luò)的全局池化方法及眾核系統(tǒng)。

根據(jù)本公開(kāi)的一個(gè)方面，提供了一種神經(jīng)網(wǎng)絡(luò)的全局池化方法，應(yīng)用于眾核系統(tǒng)，所述方法包括：

接收前一網(wǎng)絡(luò)層依次輸入的待處理數(shù)據(jù)的點(diǎn)數(shù)據(jù)；

在每接收到一個(gè)點(diǎn)數(shù)據(jù)后，均基于當(dāng)前接收到的所述點(diǎn)數(shù)據(jù)執(zhí)行預(yù)設(shè)池化操作，直至所述待處理數(shù)據(jù)所有點(diǎn)數(shù)據(jù)池化完成。

可選地，所述在每接收到一個(gè)點(diǎn)數(shù)據(jù)后，均基于當(dāng)前接收到的所述點(diǎn)數(shù)據(jù)執(zhí)行預(yù)設(shè)池化操作，直至所述待處理數(shù)據(jù)所有點(diǎn)數(shù)據(jù)池化完成，包括：

接收所述前一網(wǎng)絡(luò)層輸入的第一個(gè)點(diǎn)數(shù)據(jù)，基于所述第一個(gè)點(diǎn)數(shù)據(jù)進(jìn)行預(yù)設(shè)池化操作，得到第一池化結(jié)果；

繼續(xù)接收所述待處理數(shù)據(jù)的點(diǎn)數(shù)據(jù)，并在每接收到一個(gè)點(diǎn)數(shù)據(jù)后均執(zhí)行所述預(yù)設(shè)池化操作，直至所述待處理數(shù)據(jù)所有點(diǎn)數(shù)據(jù)池化完成，得到最終池化結(jié)果。

可選地，所述繼續(xù)接收所述待處理數(shù)據(jù)的點(diǎn)數(shù)據(jù)，并在每接收到一個(gè)點(diǎn)數(shù)據(jù)后均執(zhí)行所述預(yù)設(shè)池化操作，直至所述待處理數(shù)據(jù)所有點(diǎn)數(shù)據(jù)池化完成，得到最終池化結(jié)果，包括：

接收所述待處理數(shù)據(jù)的第n個(gè)點(diǎn)數(shù)據(jù)，基于第n-1個(gè)點(diǎn)數(shù)據(jù)的池化結(jié)果對(duì)所述第n個(gè)點(diǎn)數(shù)據(jù)進(jìn)行預(yù)設(shè)池化操作，得到第n池化結(jié)果；

接收待處理數(shù)據(jù)的第N個(gè)點(diǎn)數(shù)據(jù)，基于第N-1個(gè)點(diǎn)數(shù)據(jù)的池化結(jié)果對(duì)所述第N個(gè)點(diǎn)數(shù)據(jù)進(jìn)行預(yù)設(shè)池化操作，得到第N池化結(jié)果；

其中，所述第N池化結(jié)果為所述待處理數(shù)據(jù)的最終池化結(jié)果；

所述N表示所述待處理數(shù)據(jù)的點(diǎn)個(gè)數(shù)，1＜n＜N。

可選地，所述預(yù)設(shè)池化操作包括：平均池化或最大值池化。

可選地，所述眾核系統(tǒng)的存儲(chǔ)空間包括第一存儲(chǔ)空間和第二存儲(chǔ)空間，

當(dāng)所述預(yù)設(shè)池化操作為平均池化操作時(shí)，所述在每接收到一個(gè)點(diǎn)數(shù)據(jù)后，均基于當(dāng)前接收到的所述點(diǎn)數(shù)據(jù)執(zhí)行預(yù)設(shè)池化操作，直至所述待處理數(shù)據(jù)所有點(diǎn)數(shù)據(jù)池化完成，包括：

接收第一個(gè)點(diǎn)數(shù)據(jù)并存入所述第一存儲(chǔ)空間,作為數(shù)據(jù)A₁；將所述第二存儲(chǔ)空間的數(shù)據(jù)初始化為0，并在所述第二存儲(chǔ)空間中存放數(shù)據(jù)B₁＝A₁*(1/N)；