[發明專利]一種降低低比特卷積神經網絡推理運算復雜度的方法在審
| 申請號： | 202010794905.6 | 申請日： | 2020-08-10 |
| 公開（公告）號： | CN114077894A | 公開（公告）日： | 2022-02-22 |
| 發明（設計）人： | 周飛飛 | 申請（專利權）人： | 合肥君正科技有限公司 |
| 主分類號： | G06N5/04 | 分類號： | G06N5/04;G06N3/04 |
| 代理公司： | 北京竹辰知識產權代理事務所(普通合伙) 11706 | 代理人： | 聶鵬 |
| 地址： | 230088 安徽省合肥市高新區望江*** | 國省代碼： | 安徽;34 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 降低 比特 卷積 神經網絡 推理 運算 復雜度 方法 | ||
1.一種降低低比特卷積神經網絡推理運算復雜度的方法，其特征在于，所述方法包括以下步驟：
S1，假設第i層的權重為Wi，深度卷積全精度權重數據分布符合正態分布，權重所有數據對稱性分布于平均值左右兩側；
S2，meanw，varw分別代表權重的平均值、標準差；
meanw-3*varw至meanw+3*varw范圍：此范圍所占比率為全部數值之99％；
在權重量化代碼之前添加3個標準差的數據剪裁；
S3，對權重進行3個標準差的剪裁之后，保留99％的權重數據，利用剪裁之后數據進行量化，剔除異值過大數值。
2.根據權利要求1所述的一種降低低比特卷積神經網絡推理運算復雜度的方法，其特征在于，所述步驟S2中，對于符合正態分布的權重數據還符合以下數據分布標準：
meanw-varw至meanw+varw范圍：此范圍所占比率為全部數值之68％；
meanw-2*varw至meanw+2*varw范圍：此范圍所占比率為全部數值之95％。
3.根據權利要求1所述的一種降低低比特卷積神經網絡推理運算復雜度的方法，其特征在于，所述的權重量化是對權重求取所有數據最大值進行量化。
4.根據權利要求1所述的一種降低低比特卷積神經網絡推理運算復雜度的方法，其特征在于，所述的低比特是8bit、4bit、2bit。
5.根據權利要求1所述的一種降低低比特卷積神經網絡推理運算復雜度的方法，其特征在于，所述的meanw-3*varw至meanw+3*varw范圍，是距平均值小于3個標準差之內的數值范圍。
6.根據權利要求2所述的一種降低低比特卷積神經網絡推理運算復雜度的方法，其特征在于，所述的meanw-varw或meanw+varw范圍，是距平均值小于1個標準差之內的數值范圍；所述的meanw-2*varw至meanw+2*varw范圍，是距平均值小于2個標準差之內的數值范圍。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于合肥君正科技有限公司，未經合肥君正科技有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010794905.6/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種仿射變換的硬件實現方法
- 下一篇：偏心位移運轉動力系統
