[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)的運行方法、裝置、系統(tǒng)及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810145217.X
• 申請日: 2018-02-12
• 公開（公告）號: CN108875920A
• 公開（公告）日: 2018-11-23
• 發(fā)明（設(shè)計）人: 郭嘉丞;梁喆
• 申請（專利權(quán)）人: 北京曠視科技有限公司
• 主分類號: G06N3/06
• 分類號: G06N3/06
• 代理公司: 北京睿邦知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11481
• 代理人: 徐丁峰;張瑋

本發(fā)明的實施例提供了一種神經(jīng)網(wǎng)絡(luò)的運行方法、裝置、系統(tǒng)及存儲介質(zhì)。該方法包括：利用一個存儲器加載神經(jīng)網(wǎng)絡(luò)的第一個網(wǎng)絡(luò)層的權(quán)重；對于所述神經(jīng)網(wǎng)絡(luò)中除所述第一個網(wǎng)絡(luò)層之外的每個其他網(wǎng)絡(luò)層，利用與用于加載該網(wǎng)絡(luò)層的前一網(wǎng)絡(luò)層的權(quán)重的存儲器不同的另一存儲器加載該網(wǎng)絡(luò)層的權(quán)重，同時利用網(wǎng)絡(luò)運行單元根據(jù)所述前一網(wǎng)絡(luò)層的權(quán)重和所述前一網(wǎng)絡(luò)層的運行參數(shù)運行所述前一網(wǎng)絡(luò)層；以及利用所述網(wǎng)絡(luò)運行單元根據(jù)所述神經(jīng)網(wǎng)絡(luò)的最后一個網(wǎng)絡(luò)層的權(quán)重和所述最后一個網(wǎng)絡(luò)層的運行參數(shù)，運行所述最后一個網(wǎng)絡(luò)層。上述技術(shù)方案在節(jié)約硬件資源的前提下，加速了神經(jīng)網(wǎng)絡(luò)的運行。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能領(lǐng)域，更具體地涉及一種神經(jīng)網(wǎng)絡(luò)的運行方法、裝置、系統(tǒng)及存儲介質(zhì)。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)是一種基于模仿生物神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和功能的數(shù)學(xué)模型，可以對某一類或者一些問題進行函數(shù)的模擬和近似。由于大數(shù)據(jù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)目前在圖像、語音以及自然語言處理等具有海量數(shù)據(jù)庫的方向上有著非常廣泛的應(yīng)用。

目前，由于神經(jīng)網(wǎng)絡(luò)的準確度的要求，不斷地增加神經(jīng)網(wǎng)絡(luò)的復(fù)雜度并且拓展神經(jīng)網(wǎng)絡(luò)的空間結(jié)構(gòu)。由此，造成了網(wǎng)絡(luò)模型的計算量以及尺寸的不斷攀升。因而基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理操作耗時越來越多。

發(fā)明內(nèi)容

考慮到上述問題而提出了本發(fā)明。本發(fā)明提供了一種神經(jīng)網(wǎng)絡(luò)的運行方法、裝置、系統(tǒng)及存儲介質(zhì)。

根據(jù)本發(fā)明一方面，提供了一種神經(jīng)網(wǎng)絡(luò)的運行方法，包括：

利用一個存儲器加載神經(jīng)網(wǎng)絡(luò)的第一個網(wǎng)絡(luò)層的權(quán)重；

對于所述神經(jīng)網(wǎng)絡(luò)中除所述第一個網(wǎng)絡(luò)層之外的每個其他網(wǎng)絡(luò)層，利用與用于加載該網(wǎng)絡(luò)層的前一網(wǎng)絡(luò)層的權(quán)重的存儲器不同的另一存儲器加載該網(wǎng)絡(luò)層的權(quán)重，同時利用網(wǎng)絡(luò)運行單元根據(jù)所述前一網(wǎng)絡(luò)層的權(quán)重和所述前一網(wǎng)絡(luò)層的運行參數(shù)運行所述前一網(wǎng)絡(luò)層；以及

利用所述網(wǎng)絡(luò)運行單元根據(jù)所述神經(jīng)網(wǎng)絡(luò)的最后一個網(wǎng)絡(luò)層的權(quán)重和所述最后一個網(wǎng)絡(luò)層的運行參數(shù)，運行所述最后一個網(wǎng)絡(luò)層。

示例性地，對于所述神經(jīng)網(wǎng)絡(luò)中除所述第一個網(wǎng)絡(luò)層之外的每個其他網(wǎng)絡(luò)層，在所述利用網(wǎng)絡(luò)運行單元根據(jù)所述前一網(wǎng)絡(luò)層的權(quán)重和所述前一網(wǎng)絡(luò)層的運行參數(shù)運行所述前一網(wǎng)絡(luò)層之前，所述方法還包括：

利用所述網(wǎng)絡(luò)運行單元根據(jù)所述前一網(wǎng)絡(luò)層的運行參數(shù)自內(nèi)存獲取所述前一網(wǎng)絡(luò)層的運行數(shù)據(jù)；

在所述利用所述網(wǎng)絡(luò)運行單元根據(jù)所述神經(jīng)網(wǎng)絡(luò)的最后一個網(wǎng)絡(luò)層的權(quán)重和所述最后一個網(wǎng)絡(luò)層的運行參數(shù)，運行所述最后一個網(wǎng)絡(luò)層之前，所述方法還包括：

利用所述網(wǎng)絡(luò)運行單元根據(jù)所述最后一個網(wǎng)絡(luò)層的運行參數(shù)自所述內(nèi)存獲取所述最后一個網(wǎng)絡(luò)層的運行數(shù)據(jù)。

示例性地，所述神經(jīng)網(wǎng)絡(luò)是串行神經(jīng)網(wǎng)絡(luò)；僅對于所述神經(jīng)網(wǎng)絡(luò)中第二個網(wǎng)絡(luò)層，在所述利用網(wǎng)絡(luò)運行單元根據(jù)所述前一網(wǎng)絡(luò)層的權(quán)重和所述前一網(wǎng)絡(luò)層的運行參數(shù)運行所述前一網(wǎng)絡(luò)層之前，所述方法還包括：

利用所述網(wǎng)絡(luò)運行單元根據(jù)所述第一個網(wǎng)絡(luò)層的運行參數(shù)自內(nèi)存獲取所述第一個網(wǎng)絡(luò)層的運行數(shù)據(jù)。

示例性地，在所述利用一個存儲器加載神經(jīng)網(wǎng)絡(luò)的第一個網(wǎng)絡(luò)層的權(quán)重的同時，使得所述網(wǎng)絡(luò)運行單元空運行；和/或

在所述利用所述網(wǎng)絡(luò)運行單元根據(jù)所述神經(jīng)網(wǎng)絡(luò)的最后一個網(wǎng)絡(luò)層的權(quán)重和所述最后一個網(wǎng)絡(luò)層的運行參數(shù)，運行所述最后一個網(wǎng)絡(luò)層的同時，使得與用于加載所述神經(jīng)網(wǎng)絡(luò)的倒數(shù)第二個網(wǎng)絡(luò)層的權(quán)重的存儲器不同的另一存儲器空加載。

示例性地，所述方法還包括：在每次利用網(wǎng)絡(luò)運行單元運行所述神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)層之前，接收該網(wǎng)絡(luò)層的運行參數(shù)。

示例性地，所述運行參數(shù)包括輸入?yún)?shù)和輸出參數(shù)。