[發明專利]一種基于神經網絡的數據處理方法和裝置

在審

• 申請號: 201810219503.6
• 申請日: 2018-03-16
• 公開（公告）號: CN108491927A
• 公開（公告）日: 2018-09-04
• 發明（設計）人: 許震;趙曉萌;張如高
• 申請（專利權）人: 新智認知數據服務有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 馬永芬

1.一種基于神經網絡的數據處理方法，其特征在于，包括：

將訓練樣本數據輸入至神經網絡；

獲取所述訓練樣本數據在所述神經網絡中的每一層卷積的輸入量和權重；

將所述訓練樣本數據的每一層卷積的權重進行正則化，以使所述每一層卷積的權重都分布在指定區域內；

分別計算添加過正則項的所述每一層卷積的權重的二值化數據；

根據所述二值化數據和所述每一層卷積的輸入量建立所述訓練樣本數據對應的神經網絡模型。

2.根據權利要求1所述的基于神經網絡的數據處理方法，其特征在于，所述將所述訓練樣本數據的每一層卷積的權重進行正則化，以使所述每一層卷積的權重都分布在指定區域內包括：

為所述每一層卷積的權重添加正則項，以使所述神經網絡中所有的權重均趨向于+1或-1。

3.根據權利要求2所述的基于神經網絡的數據處理方法，其特征在于，所述為所述每一層卷積的權重添加正則項，以使所述神經網絡中所有的權重均趨向于+1或-1包括：

采用如下公式計算所述訓練樣本數據在所述神經網絡中的前向傳播損失函數：

其中，L(W)是所述前向傳播損失函數，W是訓練樣本數據在所述神經網絡中的權重集合，N是所述神經網絡中的輸入樣本個數，L_i是每個所述輸入樣本的損失，H是所述神經網絡中卷積層總層數，h是當前卷積層層數，W_h是所述神經網絡中第h層卷積層的權重集合，是W_h中的元素，α是所述正則項系數，用于平衡所述正則項的添加力度。

4.根據權利要求1至3中任一項所述的基于神經網絡的數據處理方法，其特征在于，所述分別計算添加過正則項的所述每一層卷積的權重的二值化數據包括：

采用如下公式計算所述二值化數據：

其中，是第h層卷積層的所述二值化數據，W_h是所述神經網絡中第h層卷積層的權重集合。

5.根據權利要求1所述的基于神經網絡的數據處理方法，其特征在于，所述根據所述二值化數據和所述每一層卷積的輸入量建立所述訓練樣本數據對應的神經網絡模型包括：

采用隨機梯度下降算法求解所述神經網絡的目標函數；

根據所述目標函數建立所述神經網絡模型。

6.一種基于神經網絡的數據處理裝置，其特征在于，包括：

輸入模塊，用于將訓練樣本數據輸入至神經網絡；

獲取模塊，用于獲取所述訓練樣本數據在所述神經網絡中的每一層卷積的輸入量和權重；

正則化模塊，用于將所述訓練樣本數據的每一層卷積的權重進行正則化，以使所述每一層卷積的權重都分布在指定區域內；

計算模塊，用于分別計算添加過正則項的所述每一層卷積的權重的二值化數據；

建立模塊，用于根據所述二值化數據和所述每一層卷積的輸入量

建立所述訓練樣本數據對應的神經網絡模型。

7.根據權利要求6所述的基于神經網絡的數據處理裝置，其特征在于，所述將所述訓練樣本數據的每一層卷積的權重進行正則化，以使所述每一層卷積的權重都分布在指定區域內包括：

為所述每一層卷積的權重添加正則項，以使所述神經網絡中所有的權重均趨向于+1或-1。

8.根據權利要求7所述的基于神經網絡的數據處理裝置，其特征在于，所述為所述每一層卷積的權重添加正則項，以使所述神經網絡中所有的權重均趨向于+1或-1包括：

采用如下公式計算所述訓練樣本數據在所述神經網絡中的前向傳播損失函數：

其中，L(W)是所述前向傳播損失函數，W是訓練樣本數據在所述神經網絡中的權重集合，N是所述神經網絡中的輸入樣本個數，L_i是每個所述輸入樣本的損失，H是所述神經網絡中卷積層總層數，h是當前卷積層層數，W_h是所述神經網絡中第h層卷積層的權重集合，是W_h中的元素，α是所述正則項系數，用于平衡所述正則項的添加力度。