[發明專利]一種稀疏訓練方法在審
| 申請號： | 201710473955.2 | 申請日： | 2017-06-21 |
| 公開（公告）號： | CN109102073A | 公開（公告）日： | 2018-12-28 |
| 發明（設計）人： | 不公告發明人 | 申請（專利權）人： | 上海寒武紀信息科技有限公司 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08 |
| 代理公司： | 中科專利商標代理有限責任公司 11021 | 代理人： | 任巖 |
| 地址： | 201203 上海市浦東新區上*** | 國省代碼： | 上海;31 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 置零 稀疏 神經元 訓練運算 計算量 正整數 突觸 更新 | ||
1.一種稀疏訓練方法，包括：
根據置零條件對神經網絡第i層所包括的N個神經元對應的梯度值進行選擇性置零；其中，i為大于1的整數，N為正整數；
利用未置零的梯度值進行訓練運算，得到更新后的梯度值及突觸。
2.根據權利要求1所述的稀疏訓練方法，其中，所述置零條件包括：置零概率條件，或置零閾值條件，或置零百分比條件。
3.根據權利要求1所述的稀疏訓練方法，其中，在根據置零條件將篩選出的神經元對應的梯度值置零之前，還包括：采用隨機方式對第i層所包括的N個神經元進行篩選。
4.根據權利要求3所述的稀疏訓練方法，其中，所述隨機方式包括：高斯隨機方法、貝葉斯概率隨機方法、或等距抽樣方法。
5.根據權利要求3所述的稀疏訓練方法，其中，所述置零條件為置零概率條件，該置零概率為p，采用所述隨機方式篩選出N*p個神經元，將其對應的梯度值置0。
6.根據權利要求2所述的稀疏訓練方法，其中，所述置零條件為置零閾值條件，該置零閾值條件包括：小于一給定閾值，大于一給定閾值，在一給定取值范圍內或在一給定取值范圍外。
7.根據權利要求6所述的稀疏訓練方法，其中，所述置零閾值條件為小于一給定閾值，給定閾值為th，若梯度值小于所述給定閾值th，則將該梯度值置0；否則，保持梯度值不變。
8.根據權利要求6所述的稀疏訓練方法，其中，在訓練過程中，通過一啟發方式并根據一啟發條件對所述置零閾值的大小進行調整。
9.根據權利要求8所述的稀疏訓練方法，其中，所述啟發方式包括：利用測試樣例或驗證樣例進行測試，對多次測試中其中至少兩次測試結果信息進行比較，該結果信息包括：準確率或損失值。
10.根據權利要求9所述的稀疏訓練方法，其中，對其中本次測試的的準確率與前一次測試的準確率進行比較，得到準確率差值；或對本次測試的準確率與此前多次測試的平均準確率進行比較，得到準確率差值。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于上海寒武紀信息科技有限公司，未經上海寒武紀信息科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710473955.2/1.html，轉載請聲明來源鉆瓜專利網。
