[發(fā)明專(zhuān)利]一種二值神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110462157.6
• 申請(qǐng)日: 2021-04-27
• 公開(kāi)（公告）號(hào): CN113159296A
• 公開(kāi)（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: 周賢中;黃智豪;趙曜;王帥;楊帆
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06N3/04
• 分類(lèi)號(hào): G06N3/04;G06N3/08
• 代理公司: 廣州粵高專(zhuān)利商標(biāo)代理有限公司 44102
• 代理人: 劉俊

本發(fā)明提供一種二值神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法，包括以下步驟：S1：構(gòu)建初始的神經(jīng)網(wǎng)絡(luò)；S2：分別對(duì)所述神經(jīng)網(wǎng)絡(luò)的權(quán)重和輸入數(shù)據(jù)進(jìn)行二值化處理，得到二值化權(quán)重和二值化輸入數(shù)據(jù)；S3：根據(jù)二值化輸入數(shù)據(jù)和二值化權(quán)重對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到優(yōu)化的神經(jīng)網(wǎng)絡(luò)；S4：判斷優(yōu)化的神經(jīng)網(wǎng)絡(luò)是否收斂；若是，則執(zhí)行步驟S6；若否，則執(zhí)行步驟S5；S5：更新神經(jīng)網(wǎng)絡(luò)的參數(shù)，得到新的二值化權(quán)重，并返回步驟S3；S6：得到二值神經(jīng)網(wǎng)絡(luò)。本發(fā)明提供一種二值神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法，通過(guò)將權(quán)重和輸入數(shù)據(jù)二值化，可以在小內(nèi)存和沒(méi)有GPU的便攜式設(shè)備中實(shí)現(xiàn)實(shí)時(shí)推算，解決了目前基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別系統(tǒng)需要大量的內(nèi)存和計(jì)算能力，不適用于便攜式設(shè)備的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能的技術(shù)領(lǐng)域，更具體的，涉及一種二值神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法。

背景技術(shù)

隨著深度學(xué)習(xí)理論的提出和數(shù)值計(jì)算設(shè)備的改進(jìn)，卷積神經(jīng)網(wǎng)絡(luò)發(fā)展迅速，并被應(yīng)用于計(jì)算機(jī)視覺(jué)和語(yǔ)音識(shí)別等多個(gè)領(lǐng)域，其在目標(biāo)識(shí)別和檢測(cè)方面具有高效、可靠的優(yōu)點(diǎn)。

近年來(lái)，虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)和智能可穿戴設(shè)備也得到了快速的發(fā)展，人們開(kāi)始探尋神經(jīng)網(wǎng)絡(luò)和便攜式設(shè)備的結(jié)合方式。然而，基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別系統(tǒng)需要大量的內(nèi)存和計(jì)算能力，適用于昂貴的基于GPU的設(shè)備上，但不適用于如手機(jī)和嵌入式電子產(chǎn)品等便攜式設(shè)備。例如，AlexNet有61M參數(shù)，執(zhí)行1.5B的高精度操作對(duì)一個(gè)圖像進(jìn)行分類(lèi)。對(duì)于更深層次的，例如VGG，這些參數(shù)甚至更高。然而目前所有的便攜式設(shè)備都只能提供有限的計(jì)算能力，以及容量并不算大的片上存儲(chǔ)。卷積神經(jīng)網(wǎng)絡(luò)在便攜式設(shè)備上的移植變得越來(lái)越艱難。龐大的計(jì)算量采用浮點(diǎn)數(shù)作為操作數(shù)運(yùn)行在輕量級(jí)芯片上，傳統(tǒng)浮點(diǎn)神經(jīng)網(wǎng)絡(luò)的計(jì)算效率低、能耗大、速度慢，無(wú)疑已經(jīng)超出便攜式設(shè)備的能力范圍，同時(shí)也很難達(dá)到比較好的實(shí)時(shí)效果。

現(xiàn)有技術(shù)中，如2019-07-30公開(kāi)的專(zhuān)利，一種基于二值化深度神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字圖像識(shí)別分類(lèi)方法，公開(kāi)號(hào)為CN110070119A，基于BinaryConnect二值化深度神經(jīng)網(wǎng)絡(luò)，并通過(guò)公式推導(dǎo)得出最優(yōu)權(quán)重縮放因子α，將該因子α在前向傳播過(guò)程中與權(quán)重W相乘，以達(dá)到增強(qiáng)網(wǎng)絡(luò)表達(dá)能力、提高訓(xùn)練精度的目的，但不適用于便攜式設(shè)備。

發(fā)明內(nèi)容

本發(fā)明為克服目前基于卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別系統(tǒng)需要大量的內(nèi)存和計(jì)算能力，不適用于便攜式設(shè)備的技術(shù)缺陷，提供一種二值神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法。

為解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案如下：

一種二值神經(jīng)網(wǎng)絡(luò)的構(gòu)建方法，包括以下步驟：

S1：構(gòu)建初始的神經(jīng)網(wǎng)絡(luò)；

S2：分別對(duì)所述神經(jīng)網(wǎng)絡(luò)的權(quán)重和輸入數(shù)據(jù)進(jìn)行二值化處理，得到二值化權(quán)重和二值化輸入數(shù)據(jù)；

S3：根據(jù)二值化輸入數(shù)據(jù)和二值化權(quán)重對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到優(yōu)化的神經(jīng)網(wǎng)絡(luò)；

S4：判斷優(yōu)化的神經(jīng)網(wǎng)絡(luò)的所有權(quán)重和輸入數(shù)據(jù)是否全部收斂為+1或-1；

若是，則執(zhí)行步驟S6；

若否，則執(zhí)行步驟S5；

S5：更新神經(jīng)網(wǎng)絡(luò)的參數(shù)，得到新的二值化權(quán)重，并返回步驟S3；

S6：得到二值神經(jīng)網(wǎng)絡(luò)。

優(yōu)選的，所述神經(jīng)網(wǎng)絡(luò)包括二值歸一化層、二值激活層、二值卷積層和池化層。

優(yōu)選的，所述神經(jīng)網(wǎng)絡(luò)的計(jì)算順序依次為：二值歸一化層、二值激活層、二值卷積層、池化層；

其中，在二值歸一化層對(duì)輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化，使之均值為0，在二值卷積層后插入一個(gè)非二進(jìn)制激活函數(shù)。

優(yōu)選的，所述非二進(jìn)制激活函數(shù)為ReLU函數(shù)。