[發明專利]數據定點化方法和裝置

有效

• 申請號: 201780008940.7
• 申請日: 2017-10-16
• 公開（公告）號: CN108701250B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 李似錦;楊康;林蔓虹;顏釗
• 申請（專利權）人: 深圳市大疆創新科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 張成新

一種數據定點化方法和裝置、數據處理方法和裝置以及數據對齊方法和裝置，其中數據定點化方法包括：計算多個輸入樣本中每個輸入樣本在神經網絡的第一目標層的最大輸出值(S110)；從多個最大輸出值中選取至少兩個最大輸出值作為定點參考值(S120)；根據每個定點參考值確定參考整數部分位寬(S130)；基于預設的輸出值總位寬和每個參考整數部分位寬進行準確率測試，將使得準確率最高的參考整數部分確定為第一目標層在輸出值定點化時使用的整數部分位寬(S140)。該方法通過從第一目標層的多個最大輸出值中選取多個值作為定點參考值，確定每個定點參考值對應的參考整數部分位寬，并基于準確率測試確定最優的整數部分位寬，根據最優的整數部分位寬使得定點化后網絡可以在傳遞更多的有用信息同時保持較高的精度，提高網絡的表達能力和準確率。

版權申明

本專利文件披露的內容包含受版權保護的材料。該版權為版權所有人所有。版權所有人不反對任何人復制專利與商標局的官方記錄和檔案中所存在的該專利文件或者該專利披露。

技術領域

本申請涉及數據處理領域，尤其涉及數據定點化方法和裝置。

背景技術

當前主流的神經網絡計算框架中，基本都是利用浮點數進行訓練計算的。其中，神經網絡的反向傳播過程中，梯度的計算需要基于浮點數表示，以保證足夠的精度；神經網絡的前向傳播過程的各層，尤其是卷積層和全連接層的權重系數和各層的輸出值也均以浮點數表示。但是，前向傳播過程中，基于浮點數的運算相比基于定點數的運算的邏輯設計更復雜，會消耗更多的硬件資源，功耗也更高?；诙c數的硬件邏輯設計相較于基于浮點數的硬件邏輯設計更友好。

業界的相關公司通常通過最小化數值誤差將訓練時用浮點數表示的各層輸出值和權重系數轉換為定點數表示。即，為輸出值設置優化目標函數，根據優化目標函數，在給定位寬的條件下，找到使得輸出值定點截斷后得到的數與浮點數誤差最小時的小數位位寬。權重系數的定點化也以類似的原理實現。然而，以優化目標函數的誤差最小確定定點位置，得到的定點化結果可能很糟糕。仍以輸出值為例，其主要原因在于，輸出值中最重要的信息往往是由數值比較大的輸出值決定的，而其占比通常比較小。以該定點化方法得到的定點位置進行定點化時，雖然截斷率比較低，但往往會把最有用的高位信息剔除掉，從而影響網絡的表達能力，造成網絡的準確率下降。

發明內容

本申請提供了一種數據定點化方法和裝置，使得定點化后網絡可以在傳遞更多的有用信息同時保持較高的精度，從而提高網絡的表達能力和準確率。

第一方面，提供了一種數據定點化方法，包括：計算多個輸入樣本中每個所述輸入樣本在神經網絡的第一目標層的最大輸出值；從多個所述最大輸出值中選取至少兩個所述最大輸出值作為定點參考值；根據每個所述定點參考值確定參考整數部分位寬；基于預設的輸出值總位寬和每個所述參考整數部分位寬進行準確率測試，將使得準確率最高的參考整數部分確定為所述第一目標層在輸出值定點化時使用的整數部分位寬。

第一方面的數據定點化方法通過從第一目標層的多個最大輸出值中選取多個值作為定點參考值，確定每個定點參考值對應的參考整數部分位寬，并基于準確率測試確定最優的整數部分位寬，根據最優的整數部分位寬使得定點化后網絡可以在傳遞更多的有用信息同時保持較高的精度，可以提高網絡的表達能力和準確率。

第二方面，提供了一種數據定點化方法，包括：計算輸入樣本在神經網絡的第一目標層的參考輸出值；確定為輸出值預設的輸出值總位寬和預設的第一符號位寬；根據所述參考輸出值的大小確定輸出值整數部分位寬；根據所述輸出值總位寬、所述第一符號位寬和所述輸出值整數部分位寬，確定輸出值小數部分位寬，其中，所述第一符號位寬、所述輸出值整數部分位寬和所述輸出值小數部分位寬作為所述第一目標層在輸出值定點化時使用的符號位寬、整數部分位寬和小數部分位寬。

第二方面的數據定點化方法在輸出值定點化時考慮符號位，這樣使得確定的定點化方案更優，提高增加網絡準確率的可能性。