[發(fā)明專利]魯棒二值神經(jīng)網(wǎng)絡的構(gòu)建方法及設備

在審

• 申請?zhí)枺?/td>: 202011088661.6
• 申請日: 2020-10-13
• 公開（公告）號: CN112258377A
• 公開（公告）日: 2021-01-22
• 發(fā)明（設計）人: 王祥;李鵬霄;杜翠蘭;李揚曦;佟玲玲;任博雅;項菲;井雅琪;段運強
• 申請（專利權）人: 國家計算機網(wǎng)絡與信息安全管理中心
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06N3/04;G06N3/063;G06N3/08
• 代理公司: 工業(yè)和信息化部電子專利中心 11010
• 代理人: 羅丹

本發(fā)明公開了一種魯棒二值神經(jīng)網(wǎng)絡的構(gòu)建方法及設備。魯棒二值神經(jīng)網(wǎng)絡的構(gòu)建方法，包括：對訓練數(shù)據(jù)進行二值化處理；基于二值化處理后的訓練數(shù)據(jù)，對預設二值神經(jīng)網(wǎng)絡進行訓練；對完成訓練的預設二值神經(jīng)網(wǎng)絡進行糾錯編碼。采用本發(fā)明，通過對訓練數(shù)據(jù)進行二值化處理，可以將內(nèi)存占用降低為原有的浮點型權值的1/32；同時，對訓練好的二值神經(jīng)網(wǎng)絡進行糾錯編碼，使得編碼后二元神經(jīng)網(wǎng)絡具有抵抗檫除或者錯誤的噪音干擾，所以編碼后的二元神經(jīng)網(wǎng)絡具有很好的魯棒性。

技術領域

本發(fā)明涉及神經(jīng)網(wǎng)絡領域，尤其涉及一種魯棒二值神經(jīng)網(wǎng)絡的構(gòu)建方法及設備。

背景技術

隨著深度神經(jīng)網(wǎng)絡(Deep Neural Network，DNN)的提出和數(shù)值計算設備的改進，深度神經(jīng)網(wǎng)絡技術和理論都得到了快速發(fā)展，它已經(jīng)成為人工智能的主導力量和給科學技術帶來了革命。深度神經(jīng)網(wǎng)絡在在手機、傳感器、醫(yī)療設備等領域的硬件實現(xiàn)，使得人工智能系統(tǒng)變得越來越節(jié)能和無處不在。

目前現(xiàn)狀是，一方面，基于浮點運算的神經(jīng)網(wǎng)絡，參數(shù)量大、計算量大，需要占用很多的計算資源。另一方面，訓練一個神經(jīng)網(wǎng)絡來得到各類參數(shù)需要密集的計算和大量存儲資源；但是，神經(jīng)網(wǎng)絡的推理(或者預測)不需要重新訓練這個神經(jīng)網(wǎng)絡，那么神經(jīng)網(wǎng)絡的推理過程不需要大量的計算和存儲資源。同時，深度神經(jīng)網(wǎng)絡極易受到對抗性噪音的干擾。例如，最近研究表明，在一些深度神經(jīng)網(wǎng)絡中，只要改變一個或者兩個輸入項，輸出結(jié)果將會出現(xiàn)巨大變化。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種魯棒二值神經(jīng)網(wǎng)絡的構(gòu)建方法及設備，用以至少解決現(xiàn)有技術中神經(jīng)網(wǎng)絡噪聲干擾抵抗能力差的問題。

根據(jù)本發(fā)明實施例的魯棒二值神經(jīng)網(wǎng)絡的構(gòu)建方法，包括：

對訓練數(shù)據(jù)進行二值化處理；

基于二值化處理后的訓練數(shù)據(jù)，對預設二值神經(jīng)網(wǎng)絡進行訓練；

對完成訓練的預設二值神經(jīng)網(wǎng)絡進行糾錯編碼。

根據(jù)本發(fā)明的一些實施例，所述對預設二值神經(jīng)網(wǎng)絡進行訓練，包括：

在圖形處理器GPU上，對預設二值神經(jīng)網(wǎng)絡進行訓練，以確定所述預設二值神經(jīng)網(wǎng)絡的神經(jīng)元層數(shù)、各層神經(jīng)元的權值、以及各層神經(jīng)元的偏量值。

根據(jù)本發(fā)明的一些實施例，所述對完成訓練的預設二值神經(jīng)網(wǎng)絡進行糾錯編碼，包括：

通過加入冗余神經(jīng)元對原始輸入數(shù)據(jù)進行糾錯編碼，并相應調(diào)整完成訓練的預設二值神經(jīng)網(wǎng)絡的各層神經(jīng)元的權值、以及各層神經(jīng)元的偏量值。

根據(jù)本發(fā)明的一些實施例，所述通過加入冗余神經(jīng)元對原始輸入數(shù)據(jù)進行糾錯編碼，并相應調(diào)整完成訓練的預設二值神經(jīng)網(wǎng)絡的各層神經(jīng)元的權值、以及各層神經(jīng)元的偏量值，包括：

采用三元組(E_t,V_t^b,μ_t)對完成訓練的預設二值神經(jīng)網(wǎng)絡的各層神經(jīng)元的輸入項權值以及偏量值進行糾錯編碼；

其中，F(xiàn)₂＝{0,1}，R為實數(shù)集，1≤t≤L，L表示神經(jīng)元層數(shù)，1≤i≤k_t，k_t表示第t層神經(jīng)元個數(shù)；

所述三元組(E_t,V_t^b,μ_t)對于任意一個p-子集和一個q-子集滿足公式1：

根據(jù)本發(fā)明的一些實施例，所述方法還包括：

將糾錯編碼后的預設二值神經(jīng)網(wǎng)絡轉(zhuǎn)移到FPGA上。

根據(jù)本發(fā)明實施例的魯棒二值神經(jīng)網(wǎng)絡的構(gòu)建設備，包括：