[發(fā)明專利]運算數(shù)據(jù)的量化精度調(diào)整方法及相關產(chǎn)品

在審

• 申請?zhí)枺?/td>: 201910307672.X
• 申請日: 2019-04-16
• 公開（公告）號: CN111832695A
• 公開（公告）日: 2020-10-27
• 發(fā)明（設計）人: 不公告發(fā)明人
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本申請?zhí)峁┮环N運算數(shù)據(jù)的量化精度調(diào)整的方法及相關產(chǎn)品，該方法包括對神經(jīng)網(wǎng)絡運算的數(shù)據(jù)執(zhí)行量化精度的調(diào)整，本申請的技術方案具有計算精度高的優(yōu)點。

技術領域

本申請涉及神經(jīng)網(wǎng)絡領域，尤其涉及一種運算數(shù)據(jù)的量化精度調(diào)整方法及相關產(chǎn)品。

背景技術

人工神經(jīng)網(wǎng)絡(Artificial Neural Network，即ANN)，是20世紀80年代以來人工智能領域興起的研究熱點。它從信息處理角度對人腦神經(jīng)元網(wǎng)絡進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網(wǎng)絡。在工程與學術界也常直接簡稱為神經(jīng)網(wǎng)絡或類神經(jīng)網(wǎng)絡。神經(jīng)網(wǎng)絡是一種運算模型，由大量的節(jié)點(或稱神經(jīng)元)之間相互聯(lián)接構成。現(xiàn)有的神經(jīng)網(wǎng)絡的運算基于CPU(Central Processing Unit，中央處理器)或GPU(英文：Graphics Processing Unit，圖形處理器)來實現(xiàn)神經(jīng)網(wǎng)絡的推理(即正向運算)，運算中如果對運算數(shù)據(jù)進行量化處理，其量化精度不變，這樣導致量化精度無法與運算數(shù)據(jù)很好的匹配，降低了計算精度。

發(fā)明內(nèi)容

本申請實施例提供了一種運算數(shù)據(jù)的量化精度調(diào)整方法及相關產(chǎn)品，可提高計算精度。

第一方面，提供一種運算數(shù)據(jù)的量化精度調(diào)整方法，其特征在于，所述方法應用于人工智能處理器，所述方法包括如下步驟：

確定運算數(shù)據(jù)；獲取量化命令，所述量化命令包括量化精度的數(shù)據(jù)類型以及量化精度；依據(jù)所述運算數(shù)據(jù)以及量化精度的數(shù)據(jù)類型確定該量化精度的調(diào)整策略，依據(jù)該調(diào)整策略對該量化精度進行調(diào)整，以使所述人工智能處理器依據(jù)調(diào)整后的量化精度對運算數(shù)據(jù)執(zhí)行量化操作。

可選的，所述運算數(shù)據(jù)包括：輸入神經(jīng)元A、輸出神經(jīng)元B、權重W、輸入神經(jīng)元導數(shù)輸出神經(jīng)元導數(shù)權重導數(shù)中的一種或任意組合；

所述量化精度的數(shù)據(jù)類型具體包括：離散量化精度的指數(shù)s或連續(xù)量化精度f。

可選的，所述依據(jù)所述運算數(shù)據(jù)以及量化精度的數(shù)據(jù)類型確定該量化精度的調(diào)整策略具體包括：

根據(jù)待量化數(shù)據(jù)絕對值最大值向上調(diào)整s或f；

或根據(jù)待量化數(shù)據(jù)絕對值最大值逐步向上調(diào)整s或f；

或根據(jù)待量化數(shù)據(jù)分布單步向上調(diào)整s或f；

或根據(jù)待量化數(shù)據(jù)分布逐步向上調(diào)整s或f；

或根據(jù)待量化數(shù)據(jù)絕對值最大值向下調(diào)整s。

可選的，所述運算數(shù)據(jù)絕對值最大值或所述絕對值最小值的確定方式具體包括：

采用所有層分類尋找絕對值最大值或絕對值最小值；

或采用分層分類別尋找絕對值最大值或絕對值最小值；

或采用分層分類別分組進尋找絕對值最大值或絕對值最小值。

可選的，所述根據(jù)待量化數(shù)據(jù)絕對值最大值向上調(diào)整s或f具體包括：

如調(diào)整s，確定待量化數(shù)據(jù)的絕對值最大值a_maxnew≥pos時，s_new＝「log₂(a_maxnew)-bitnum+1；其中pos＝(2bitnum-1_1)*2s_old；

如調(diào)整f，確定待量化數(shù)據(jù)的絕對值最大值a_maxnew≥pos時，

bitnum為量化后的數(shù)據(jù)的比特位數(shù)。

可選的，所述根據(jù)待量化數(shù)據(jù)絕對值最大值逐步向上調(diào)整s或f具體包括：