[發(fā)明專利]數(shù)據(jù)定點(diǎn)化方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201780008940.7
• 申請(qǐng)日: 2017-10-16
• 公開（公告）號(hào): CN108701250B
• 公開（公告）日: 2022-03-04
• 發(fā)明（設(shè)計(jì)）人: 李似錦;楊康;林蔓虹;顏釗
• 申請(qǐng)（專利權(quán)）人: 深圳市大疆創(chuàng)新科技有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 中科專利商標(biāo)代理有限責(zé)任公司 11021
• 代理人: 張成新

1.一種數(shù)據(jù)定點(diǎn)化方法，其特征在于，包括：

計(jì)算多個(gè)輸入樣本中每個(gè)所述輸入樣本在神經(jīng)網(wǎng)絡(luò)的第一目標(biāo)層的最大輸出值；

從多個(gè)所述最大輸出值中選取至少兩個(gè)所述最大輸出值作為定點(diǎn)參考值；

根據(jù)每個(gè)所述定點(diǎn)參考值確定參考整數(shù)部分位寬；

基于預(yù)設(shè)的輸出值總位寬和每個(gè)所述參考整數(shù)部分位寬進(jìn)行準(zhǔn)確率測(cè)試，將使得準(zhǔn)確率最高的參考整數(shù)部分確定為所述第一目標(biāo)層在輸出值定點(diǎn)化時(shí)使用的整數(shù)部分位寬。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)定點(diǎn)化方法，其特征在于，所述從多個(gè)所述最大輸出值中選取至少兩個(gè)所述最大輸出值作為定點(diǎn)參考值，包括：

對(duì)多個(gè)所述最大輸出值進(jìn)行排序，按照預(yù)設(shè)的選取參數(shù)從所述多個(gè)最大輸出值中選取至少兩個(gè)所述最大輸出值作為所述定點(diǎn)參考值。

3.根據(jù)權(quán)利要求1或2所述的數(shù)據(jù)定點(diǎn)化方法，其特征在于，所述根據(jù)每個(gè)所述定點(diǎn)參考值確定參考整數(shù)部分位寬，包括：

根據(jù)所述定點(diǎn)參考值的大小確定所述參考整數(shù)部分位寬；

所述方法還包括：

確定預(yù)設(shè)的第一符號(hào)位寬和所述輸出值總位寬；

根據(jù)所述第一符號(hào)位寬、所述輸出值總位寬和所述參考整數(shù)部分位寬，確定參考小數(shù)部分位寬。

4.根據(jù)權(quán)利要求1或2所述的數(shù)據(jù)定點(diǎn)化方法，其特征在于，所述數(shù)據(jù)定點(diǎn)化方法還包括：

確定為權(quán)重系數(shù)預(yù)設(shè)的權(quán)重定點(diǎn)總位寬和預(yù)設(shè)的第二符號(hào)位寬；

根據(jù)所述第一目標(biāo)層中最大權(quán)重系數(shù)的大小確定權(quán)重整數(shù)部分位寬；

根據(jù)所述權(quán)重定點(diǎn)總位寬、所述第二符號(hào)位寬和所述權(quán)重整數(shù)部分位寬，確定權(quán)重小數(shù)部分位寬，

其中，將所述第二符號(hào)位寬、所述權(quán)重整數(shù)部分位寬和所述權(quán)重小數(shù)部分位寬確定為所述第一目標(biāo)層在權(quán)重系數(shù)定點(diǎn)化時(shí)使用的符號(hào)位寬、整數(shù)部分位寬和小數(shù)部分位寬。

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)定點(diǎn)化方法，其特征在于，所述最大權(quán)重系數(shù)為對(duì)所述神經(jīng)網(wǎng)絡(luò)的至少兩層進(jìn)行合并預(yù)處理后形成的所述第一目標(biāo)層的權(quán)重系數(shù)的最大值。

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)定點(diǎn)化方法，其特征在于，所述數(shù)據(jù)定點(diǎn)化方法還包括：

對(duì)所述神經(jīng)網(wǎng)絡(luò)的至少兩層進(jìn)行合并預(yù)處理，得到合并后形成的所述第一目標(biāo)層。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)定點(diǎn)化方法，其特征在于，所述最大輸出值為所述多個(gè)輸入樣本中每個(gè)所述輸入樣本在合并后形成的所述第一目標(biāo)層的所述最大輸出值。

8.根據(jù)權(quán)利要求6所述的數(shù)據(jù)定點(diǎn)化方法，其特征在于，所述對(duì)所述神經(jīng)網(wǎng)絡(luò)的至少兩層進(jìn)行合并預(yù)處理，得到合并后形成的所述第一目標(biāo)層，包括：

對(duì)所述神經(jīng)網(wǎng)絡(luò)的卷積層和歸一化層進(jìn)行合并預(yù)處理，得到所述第一目標(biāo)層；或，

對(duì)所述神經(jīng)網(wǎng)絡(luò)的卷積層和縮放層進(jìn)行合并預(yù)處理，得到所述第一目標(biāo)層；或，

對(duì)所述神經(jīng)網(wǎng)絡(luò)的卷積層、歸一化層和縮放層進(jìn)行合并預(yù)處理，得到所述第一目標(biāo)層。

9.根據(jù)權(quán)利要求1所述的數(shù)據(jù)定點(diǎn)化方法，其特征在于，所述第一目標(biāo)層包括卷積層、轉(zhuǎn)置卷積層、歸一化層、縮放層、池化層、全連接層、拼接層、元素智能加法層和激活層中的一層或至少兩層合并后的層。

10.根據(jù)權(quán)利要求1所述的數(shù)據(jù)定點(diǎn)化方法，其特征在于，所述數(shù)據(jù)定點(diǎn)化方法還包括：

確定所述神經(jīng)網(wǎng)絡(luò)的第二目標(biāo)層在輸出值定點(diǎn)化時(shí)使用的整數(shù)部分位寬，使所述第二目標(biāo)層在輸出值定點(diǎn)化時(shí)使用的整數(shù)部分位寬和所述第一目標(biāo)層在輸出值定點(diǎn)化時(shí)使用的整數(shù)部分位寬相等。

11.根據(jù)權(quán)利要求10所述的數(shù)據(jù)定點(diǎn)化方法，其特征在于，所述確定所述神經(jīng)網(wǎng)絡(luò)的第二目標(biāo)層在輸出值定點(diǎn)化時(shí)使用的整數(shù)部分位寬，包括：

將所述第一目標(biāo)層和所述第二目標(biāo)層輸出值定點(diǎn)化應(yīng)使用的整數(shù)部分位寬中的最大值，確定為所述第一目標(biāo)層和所述第二目標(biāo)層輸出值定點(diǎn)化最終使用的整數(shù)部分位寬。