[發明專利]用于確定表示DNN的層的值的定點數格式的方法和系統

有效

• 申請號: 201811299719.4
• 申請日: 2018-11-02
• 公開（公告）號: CN110009099B
• 公開（公告）日: 2021-12-24
• 發明（設計）人: 詹姆斯·因貝爾
• 申請（專利權）人: 暢想科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 林強

1.一種確定用于表示深度神經網絡DNN的一個或多個層的值的定點數格式的計算機實現的方法，所述DNN的一個或多個層中的每個層的值包括該層的權重和輸入數據值中的至少一者，所述方法包括：

接收被配置為根據用于該層的一個或多個初始定點數格式表示一個或多個層的值的DNN的實例；

確定響應于測試輸入數據的所述DNN的所述實例的輸出；

確定所述DNN的所述實例的所述輸出相對于基線輸出的可微分誤差；

使用泰勒近似來確定所述可微分誤差中與所述一個或多個層中的每個層的值的量化相關的部分；以及

基于所述可微分誤差中與所述一個或多個層中的每個層的值的量化相關的所述部分，調整所述一個或多個層中的至少一層的定點數格式。

2.根據權利要求1所述的方法，其中，具有最低權重量化誤差部分和/或最低輸入數據值量化誤差部分的層的定點數格式被調整。

3.根據權利要求2所述的方法，其中，每個定點數格式包括指數和尾數位長度，并且調整定點數格式包括將定點數格式調整為具有下一最低尾數位長度的定點數格式。

4.根據權利要求1所述的方法，其中，具有最高權重量化誤差部分和/或最高輸入數據值量化誤差部分的層的定點數格式被調整。

5.根據權利要求4所述的方法，其中，每個定點數格式包括指數和尾數位長度，并且調整定點數格式包括將定點數格式調整為具有下一最高尾數位長度的定點數格式。

6.根據權利要求1所述的方法，還包括：

在所述調整之后，確定響應于測試輸入數據的所述DNN的所述實例的第二輸出的準確度；以及

響應于確定所述DNN的所述實例的所述第二輸出的所述準確度超過準確度閾值，執行以下操作：

確定所述DNN的所述實例的所述第二輸出相對于基線輸出的第二可微分誤差；

使用泰勒近似來確定所述第二可微分誤差中與所述一個或多個層中的每個層的值的量化相關的第二部分；

基于所述第二可微分誤差中與所述一個或多個層中的每個層的值的量化相關的所述第二部分，調整所述一個或多個層中的至少一層的定點數格式。

7.根據權利要求6所述的方法，還包括：響應于確定所述DNN的所述實例的所述第二輸出的所述準確度不超過所述準確度閾值，將所述調整丟棄。

8.根據權利要求6所述的方法，其中，所述DNN是分類網絡，并且所述DNN的所述實例的所述第二輸出的所述準確度是前1名的分類準確度或前5名的分類準確度。

9.根據權利要求1所述的方法，其中，使用泰勒近似來確定所述可微分誤差中與所述一個或多個層中的每個層的值的量化相關的所述部分包括：

使用反向傳播確定所述可微分誤差關于值的斜率；以及

通過將特定值的量化誤差乘以相應的斜率來計算所述可微分誤差中可歸因于該值的量化的所述部分。

10.根據權利要求9所述的方法，其中，確定所述可微分誤差中與所述一個或多個層中的每個層的值的量化相關的所述部分還包括：通過對所述可微分誤差中可歸因于該層的權重的量化的部分求和來確定可歸因于所述一個或多個層中的每個層的權重的量化的總誤差，和/或通過對所述可微分誤差中可歸因于該層的輸入數據值的量化的部分求和來確定可歸因于所述一個或多個層中的每個層的輸入數據值的量化的總誤差。

11.根據權利要求1所述的方法，其中，所述DNN是分類網絡，并且所述可微分誤差是響應于測試輸入數據的所述DNN的所述實例的所述輸出的分對數與所述基線輸出的分對數之間的絕對差的總和。

12.根據權利要求1所述的方法，其中，所述DNN是分類網絡，并且所述可微分誤差是響應于測試輸入數據的所述DNN的所述實例的所述輸出的柔性最大歸一化分對數與所述基線輸出的柔性最大歸一化分對數之間的絕對差的總和。