[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法和裝置

在審

• 申請?zhí)枺?/td>: 201810219503.6
• 申請日: 2018-03-16
• 公開（公告）號: CN108491927A
• 公開（公告）日: 2018-09-04
• 發(fā)明（設(shè)計(jì)）人: 許震;趙曉萌;張如高
• 申請（專利權(quán)）人: 新智認(rèn)知數(shù)據(jù)服務(wù)有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京三聚陽光知識產(chǎn)權(quán)代理有限公司 11250
• 代理人: 馬永芬

本發(fā)明提供了一種基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法和裝置，該方法包括：將訓(xùn)練樣本數(shù)據(jù)輸入至神經(jīng)網(wǎng)絡(luò)；獲取所述訓(xùn)練樣本數(shù)據(jù)在所述神經(jīng)網(wǎng)絡(luò)中的每一層卷積的輸入量和權(quán)重；將所述訓(xùn)練樣本數(shù)據(jù)的每一層卷積的權(quán)重進(jìn)行正則化，以使所述每一層卷積的權(quán)重都分布在指定區(qū)域內(nèi)；分別計(jì)算添加過正則項(xiàng)的所述每一層卷積的權(quán)重的二值化數(shù)據(jù)；根據(jù)所述二值化數(shù)據(jù)和所述每一層卷積的輸入量建立所述訓(xùn)練樣本數(shù)據(jù)對應(yīng)的神經(jīng)網(wǎng)絡(luò)模型。該方案通過對訓(xùn)練樣本數(shù)據(jù)在神經(jīng)網(wǎng)絡(luò)中的每一層卷積權(quán)重添加正則項(xiàng)，以迫使原有的浮點(diǎn)權(quán)重在優(yōu)化過程中動態(tài)地接近+1或?1，從而減少二值化前后數(shù)據(jù)模型之間的差異度，降低了數(shù)據(jù)量，提高了數(shù)據(jù)處理速度和計(jì)算精度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法和裝置。

背景技術(shù)

隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，其在智能監(jiān)控領(lǐng)域得到了廣泛的運(yùn)用，成為不可缺少的一個工具，比如人臉識別、車輛檢測、物體識別等。但是隨著現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)加深，網(wǎng)絡(luò)的復(fù)雜度也變得越來越大，比如說對于一個卷積神經(jīng)網(wǎng)絡(luò)，其卷積層數(shù)量可以超過10層，此外所有卷積層的計(jì)算量幾乎占據(jù)了整個網(wǎng)絡(luò)計(jì)算量的80％。這就導(dǎo)致類似的卷積神經(jīng)網(wǎng)絡(luò)不能夠運(yùn)行在監(jiān)控?cái)z像頭等嵌入式設(shè)備上。為了降低卷積層的計(jì)算復(fù)雜度，現(xiàn)有的技術(shù)通過直接對神經(jīng)網(wǎng)絡(luò)的浮點(diǎn)權(quán)重和浮點(diǎn)激活進(jìn)行二值化操作，比如在論文《Binarized Neural Networks:Training Neural Networks with Weights andActivations Constrained to+1or-1》中，其作者對一個給定的卷積神經(jīng)網(wǎng)絡(luò)Ω進(jìn)行二值化操作。具體方式如下：第i層的浮點(diǎn)輸入向量是x_l，第i層的浮點(diǎn)權(quán)重是w_l，則第i層的輸出(即第i+1層的輸入)為那么對第i層的浮點(diǎn)權(quán)重w_l的二值化方式如下公式所示：

通過上述公式的量化之后原來的浮點(diǎn)權(quán)重w_l變成了二值權(quán)重從而把原來需要進(jìn)行浮點(diǎn)乘法的操作變成浮點(diǎn)加法操作。

但是如圖1所示，卷積神經(jīng)網(wǎng)絡(luò)的每一層權(quán)重w_l的分布一般都0左右，接近高斯分布，所以如果直接對權(quán)重強(qiáng)行進(jìn)行二值化操作，就會導(dǎo)致二值化后的權(quán)重和原始權(quán)重w_l相差較大，導(dǎo)致在使用隨機(jī)梯度下降算法對卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化時，會產(chǎn)生振蕩，從而導(dǎo)致收斂變慢，精度不高。同理，卷積神經(jīng)網(wǎng)絡(luò)的每一層輸出激活值也近似于高斯分布，如果強(qiáng)行進(jìn)行二值化量化，會導(dǎo)致量化前后的值差異較大。

一個良好的量化方法需要在對網(wǎng)絡(luò)權(quán)重完成量化后還能保持精度不下降。這就要求在量化過程中對網(wǎng)絡(luò)每一層的權(quán)重分布有精確的估計(jì)，然后根據(jù)估計(jì)的值進(jìn)行二值化。如果估計(jì)不準(zhǔn)確，就會導(dǎo)致量化之后的卷積神經(jīng)網(wǎng)絡(luò)模型在優(yōu)化空間中偏離最優(yōu)目標(biāo)。

因此，如何提高基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理算法的處理速度和精度，成為一個亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

因此，本發(fā)明要解決的技術(shù)問題在于現(xiàn)有技術(shù)中基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理算法計(jì)算量過大、計(jì)算過程復(fù)雜、計(jì)算結(jié)果精度較低。

有鑒于此，本發(fā)明實(shí)施例的第一方面提供了一種基于神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)處理方法，包括：將訓(xùn)練樣本數(shù)據(jù)輸入至神經(jīng)網(wǎng)絡(luò)；獲取所述訓(xùn)練樣本數(shù)據(jù)在所述神經(jīng)網(wǎng)絡(luò)中的每一層卷積的輸入量和權(quán)重；將所述訓(xùn)練樣本數(shù)據(jù)的每一層卷積的權(quán)重進(jìn)行正則化，以使所述每一層卷積的權(quán)重都分布在指定區(qū)域內(nèi)；分別計(jì)算添加過正則項(xiàng)的所述每一層卷積的權(quán)重的二值化數(shù)據(jù)；根據(jù)所述二值化數(shù)據(jù)和所述每一層卷積的輸入量建立所述訓(xùn)練樣本數(shù)據(jù)對應(yīng)的神經(jīng)網(wǎng)絡(luò)模型。

優(yōu)選地，所述將所述訓(xùn)練樣本數(shù)據(jù)的每一層卷積的權(quán)重進(jìn)行正則化，以使所述每一層卷積的權(quán)重都分布在指定區(qū)域內(nèi)包括：為所述每一層卷積的權(quán)重添加正則項(xiàng)，以使所述神經(jīng)網(wǎng)絡(luò)中所有的權(quán)重均趨向于+1或-1。