[發明專利]信息處理設備和信息處理方法

有效

• 申請號: 201880004505.1
• 申請日: 2018-06-29
• 公開（公告）號: CN110036384B
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 廣井聰幸;中村章;山本真紀子;池谷亮志
• 申請（專利權）人: 索尼公司
• 主分類號: G06F17/10
• 分類號: G06F17/10;G06N3/02
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 康建峰;陳煒

[問題]為了減少與內積運算相關聯的處理負擔，并且用于還保證權重系數的量化粒度。[解決方案]提供了一種信息處理設備，該信息處理設備設置有乘積累加運算電路，該乘積累加運算電路用于基于多個輸入值和多個權重系數來執行乘積累加運算，所述多個權重系數分別對應于輸入值并且通過冪表達來量化。經量化的權重系數的指數由將預定的除數作為分母的分數來表達，并且乘積累加運算電路基于根據除數確定的余數使用不同的加法乘數來執行乘積累加運算。

技術領域

本公開內容涉及信息處理設備和信息處理方法。

背景技術

近來，稱作類似于神經系統的作用的神經網絡的數學模型正受到關注。此外，正在提出用于減少神經網絡中的計算的處理負荷的各種技術。例如，非專利文獻1描述了通過將權重系數二進制化來減少處理負荷的技術。此外，非專利文獻2描述了通過將輸入信號轉換為對數域來將乘法轉換為加法的技術。

引用列表

非專利文獻

非專利文獻1：Matthieu Courbariaux等人，“BinaryConnect:Training DeepNeural Networks with binary weights during propagations”，[在線]，2015年11月11日，arXiv，[2017年3月22日檢索]，因特網URL：https://arxiv.org/pdf/1511.00363.pdf

非專利文獻2：Daisuke Miyashita等人，“Convolutional Neural Networksusing Logarithmic Data Representation”，[在線]，2016年3月3日，arXiv，[2017年3月22日檢索]，因特網URL：https://arxiv.org/pdf/1603.01025.pdf

發明內容

技術問題

然而，利用非專利文獻1中描述的技術，由于執行使用+1或-1的二進制化，因此隨著權重系數的維度增加，預期量化粒度將變得更粗糙。此外，非專利文獻2中描述的技術雖然在避免乘法方面具有預定效果，但是預計在減少處理負荷方面仍具有進一步改進的空間。

因此，本公開內容提出了一種新穎且改進的信息處理設備和信息處理方法，其能夠進一步減少與內積運算相關聯的處理負荷，同時還保證權重系數的量化粒度。

問題的解決方案

根據本公開內容，提供了一種信息處理設備，該信息處理設備包括：乘積累加運算電路，其被配置成基于多個輸入值和多個權重系數來執行乘積累加運算，所述多個權重系數通過冪表達來量化并且分別對應于輸入值。經量化的權重系數的指數由將預定的除數作為分母的分數來表達，并且乘積累加運算電路基于根據除數確定的余數使用不同的加法乘數來執行乘積累加運算。

此外，根據本公開內容，提供了一種由處理器執行的信息處理方法，該方法包括：基于多個輸入值和多個權重系數來執行乘積累加運算，所述多個權重系數通過冪表達來量化并且分別對應于輸入值。經量化的權重系數的指數由將預定的除數作為分母的分數來表達，并且乘積累加運算的執行基于根據除數確定的余數使用不同的加法乘數來執行乘積累加運算。

本發明的有益效果

根據如上所述的本公開內容，可以進一步減少與內積運算相關聯的處理負荷，同時還保證權重系數的量化粒度。

注意，上述效果不一定是限制性的。利用或代替上述效果，可以實現本說明書中描述的任何一種效果或可以通過本說明書理解的其他效果。

附圖說明

[圖1]圖1是用于說明根據本公開內容的相關技術的神經網絡中的基本計算的概述的概念圖。