[發(fā)明專利]數(shù)據(jù)量化方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010101496.7
• 申請(qǐng)日: 2020-02-19
• 公開（公告）號(hào): CN111176853A
• 公開（公告）日: 2020-05-19
• 發(fā)明（設(shè)計(jì)）人: 高宇;徐會(huì);楊曉青;匡勇建
• 申請(qǐng)（專利權(quán)）人: 珠海市杰理科技股份有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06N3/063;G06N3/08
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 黃麗霞

1.一種數(shù)據(jù)量化方法，其特征在于，所述方法包括：

獲取所述神經(jīng)網(wǎng)絡(luò)的當(dāng)前層的待量化數(shù)據(jù)；所述待量化數(shù)據(jù)表示所述神經(jīng)網(wǎng)絡(luò)進(jìn)行前向計(jì)算的浮點(diǎn)型數(shù)據(jù)；所述待量化數(shù)據(jù)至少包括所述當(dāng)前層的輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)；

根據(jù)預(yù)設(shè)的量化位寬，獲取所述當(dāng)前層的輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)各自對(duì)應(yīng)的浮點(diǎn)型尺度因子；

根據(jù)所述當(dāng)前層的輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)各自對(duì)應(yīng)的浮點(diǎn)型尺度因子，確定所述當(dāng)前層的待量化數(shù)據(jù)對(duì)應(yīng)的量化乘數(shù)因子和量化偏移因子；所述量化乘數(shù)因子和量化偏移因子用于承載所述神經(jīng)網(wǎng)絡(luò)的終端將所述當(dāng)前層的待量化數(shù)據(jù)量化處理為整型數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述根據(jù)預(yù)設(shè)的量化位寬，獲取所述當(dāng)前層的輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)各自對(duì)應(yīng)的浮點(diǎn)型尺度因子之前，所述方法還包括：

獲取所述當(dāng)前層的待量化數(shù)據(jù)中權(quán)重?cái)?shù)據(jù)的絕對(duì)值的最大值；

根據(jù)所述絕對(duì)值的最大值，確定所述量化位寬。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)預(yù)設(shè)的量化位寬，獲取所述當(dāng)前層的輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)各自對(duì)應(yīng)的浮點(diǎn)型尺度因子，包括：

獲取所述當(dāng)前層的輸入數(shù)據(jù)和所述權(quán)重?cái)?shù)據(jù)各自對(duì)應(yīng)的最大值和最小值；

根據(jù)所述量化位寬、以及所述輸入數(shù)據(jù)和所述權(quán)重?cái)?shù)據(jù)各自對(duì)應(yīng)的最大值和最小值，確定所述輸入數(shù)據(jù)和所述權(quán)重?cái)?shù)據(jù)各自對(duì)應(yīng)的浮點(diǎn)型尺度因子。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述獲取所述當(dāng)前層的輸入數(shù)據(jù)和所述權(quán)重?cái)?shù)據(jù)各自對(duì)應(yīng)的最大值和最小值，包括：

將所述輸入數(shù)據(jù)和所述權(quán)重?cái)?shù)據(jù)分別劃分為N組子數(shù)據(jù)集；其中，N為正整數(shù)；

計(jì)算所述輸入數(shù)據(jù)的各子數(shù)據(jù)集的第一參數(shù)值和所述權(quán)重?cái)?shù)據(jù)的各子數(shù)據(jù)集的第二參數(shù)值；所述第一參數(shù)值和所述第二參數(shù)值均包括子數(shù)據(jù)集的均值、方差、最大值、最小值；

根據(jù)所述第一參數(shù)值中的均值和方差更新所述第一參數(shù)值的最大值和最小值，以及根據(jù)所述第二參數(shù)值中的均值和方差更新所述第二參數(shù)值中的最大值和最小值；

根據(jù)更新后的第一參數(shù)值中的最大值和最小值和更新后的第二參數(shù)值中的最大值和最小值，確定所述輸入數(shù)據(jù)和所述權(quán)重?cái)?shù)據(jù)各自對(duì)應(yīng)的最大值和最小值。

5.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)所述當(dāng)前層的輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)各自對(duì)應(yīng)的浮點(diǎn)型尺度因子，確定所述當(dāng)前層的待量化數(shù)據(jù)對(duì)應(yīng)的量化乘數(shù)因子和量化偏移因子，包括：

根據(jù)所述輸入數(shù)據(jù)和所述權(quán)重?cái)?shù)據(jù)各自對(duì)應(yīng)的浮點(diǎn)型尺度因子，確定所述當(dāng)前層的浮點(diǎn)型尺度因子；

根據(jù)所述當(dāng)前層的浮點(diǎn)型尺度因子，確定所述當(dāng)前層的待量化數(shù)據(jù)對(duì)應(yīng)的量化乘數(shù)因子和量化偏移因子。

6.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述方法還包括：

將量化后的輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)進(jìn)行前向計(jì)算，得到所述當(dāng)前層的激活數(shù)據(jù)；所述當(dāng)前層的激活數(shù)據(jù)用于表示所述當(dāng)前層的下一層的輸入數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述將量化后的輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)進(jìn)行前向計(jì)算，得到所述當(dāng)前層的激活數(shù)據(jù)，包括：

根據(jù)所述量化偏移因子，對(duì)所述量化后的權(quán)重?cái)?shù)據(jù)、所述量化后的輸入數(shù)據(jù)和所述量化乘數(shù)因子的乘積進(jìn)行偏移處理，得到所述當(dāng)前層的激活數(shù)據(jù)。

8.一種數(shù)據(jù)量化裝置，其特征在于，所述裝置包括：

第一獲取模塊，用于獲取所述神經(jīng)網(wǎng)絡(luò)的當(dāng)前層的待量化數(shù)據(jù)；所述待量化數(shù)據(jù)表示所述神經(jīng)網(wǎng)絡(luò)進(jìn)行前向計(jì)算的浮點(diǎn)型數(shù)據(jù)；所述待量化數(shù)據(jù)至少包括所述當(dāng)前層的輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)；

第二獲取模塊，用于根據(jù)預(yù)設(shè)的量化位寬，獲取所述當(dāng)前層的輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)各自對(duì)應(yīng)的浮點(diǎn)型尺度因子；

確定模塊，用于根據(jù)所述當(dāng)前層的輸入數(shù)據(jù)和權(quán)重?cái)?shù)據(jù)各自對(duì)應(yīng)的浮點(diǎn)型尺度因子，確定所述當(dāng)前層的待量化數(shù)據(jù)對(duì)應(yīng)的量化乘數(shù)因子和量化偏移因子；所述量化乘數(shù)因子和量化偏移因子用于承載所述神經(jīng)網(wǎng)絡(luò)的終端將所述當(dāng)前層的待量化數(shù)據(jù)量化處理為整型數(shù)據(jù)。