[發明專利]用于深度神經網絡的硬件實現的層次化尾數位長度選擇

在審

• 申請號: 201811300265.8
• 申請日: 2018-11-02
• 公開（公告）號: CN110007959A
• 公開（公告）日: 2019-07-12
• 發明（設計）人: 詹姆斯·因貝爾;卡加泰·迪基奇;張琳玲
• 申請（專利權）人: 暢想科技有限公司
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06N3/04;G06N3/063
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 林強

1.一種計算機實現的方法，所述方法用于選擇用來表示輸入到深度神經網絡DNN的多個層和/或從所述DNN的多個層輸出的值的定點數格式，以用于配置所述DNN的硬件實現，所述方法包括：

接收所述DNN的實例，所述實例被配置為使用針對所述多個層中的每個層的一個或多個初始定點數格式來表示該層的值，每個初始定點數格式包括指數和尾數位長度；

從所述多個層形成多個不相交的子集；

對于多個子集中的每個子集，迭代地將針對所述子集中的層的定點數格式調整為具有下一最低尾數位長度的定點數格式，直到所述DNN的實例的輸出誤差超過誤差閾值為止；

響應于確定所述子集包括多于下限閾值數量的層，從所述多個層形成更多數量的不相交子集并重復迭代調整；以及

響應于確定所述子集包括小于或等于所述下限閾值數量的層，輸出針對所述多個層的定點數格式。

2.如權利要求1所述的方法，其中，迭代地將針對所述子集中的層的定點數格式調整為具有下一最低尾數位長度的定點數格式包括：

針對所述子集的每個層的定點數格式，確定具有下一最低尾數位長度的定點數格式；

將所述DNN的實例所使用的針對所述子集中的每個層的定點數格式調整為所確定的具有下一最低尾數位長度的定點數格式；

確定調整后的所述DNN的實例響應于測試輸入數據的輸出；

確定調整后的所述DNN的實例的輸出誤差；

響應于確定所述輸出誤差超過所述誤差閾值，逆轉對于所述DNN的實例的所述調整；以及

響應于確定所述輸出誤差未超過所述誤差閾值，重復進行確定定點數格式、調整定點數格式、確定輸出、以及確定輸出誤差。

3.如權利要求1或2所述的方法，還包括：識別所述多個層的序列，其中在所述序列中，每個層之前是其所依賴的所述多個層中的任何層，并且其中，所述子集中的每個子集包括所述序列中的一組連續的層。

4.如權利要求1或2所述的方法，其中，所述多個層不包括所述DNN的第一層和/或所述DNN的最后一層。

5.如權利要求1或2所述的方法，其中，在對任何子集進行定點數格式的第二次調整之前，對所有子集進行定點數格式的第一次調整。

6.如權利要求1或2所述的方法，其中，在針對第二子集中的層的定點數格式進行第一次調整之前，完成針對第一子集中的層的定點數格式的所有迭代調整。

7.如權利要求1或2所述的方法，其中，存在針對所述多個層中的至少一個層的輸入數據值的初始定點數格式，并且存在針對所述多個層中的至少一個層的權重的初始定點數格式，并且迭代地將針對所述子集中的層的定點數格式調整為具有下一最低尾數位長度的定點數格式直到所述DNN的實例的輸出誤差超過誤差閾值為止包括：

迭代地將針對所述子集中的層的輸入數據值的定點數格式調整為具有下一最低尾數位長度的定點數格式，直到所述DNN的實例的輸出誤差超過所述誤差閾值為止；以及

在迭代地調整針對輸入數據值的定點數格式之后，迭代地將所述子集中的層的權重的定點數格式調整為具有下一最低尾數位長度的定點數格式，直到所述DNN的實例的輸出誤差超過所述誤差閾值為止。

8.如權利要求7所述的方法，其中，存在針對所述多個層中的至少一個層的輸出數據值的初始定點數格式，并且迭代地將針對所述子集中的層的定點數格式調整為具有下一最低尾數位長度的定點數格式直到所述DNN的實例的輸出誤差超過誤差閾值為止包括：

在迭代地調整針對輸入數據值的定點數格式之后，迭代地將針對所述子集中的層的輸出數據值的定點數格式調整為具有下一最低尾數位長度的定點數格式，直到所述DNN的實例的輸出誤差超過誤差閾值為止。

9.如權利要求1或2所述的方法，其中，所述DNN是分類網絡，并且所述輸出誤差是所述DNN的實例響應于測試輸入數據的輸出的前1分類準確度或前5分類準確度。