[發明專利]用于深度神經網絡的硬件實現的層次化尾數位長度選擇

在審

• 申請號: 201811300265.8
• 申請日: 2018-11-02
• 公開（公告）號: CN110007959A
• 公開（公告）日: 2019-07-12
• 發明（設計）人: 詹姆斯·因貝爾;卡加泰·迪基奇;張琳玲
• 申請（專利權）人: 暢想科技有限公司
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06N3/04;G06N3/063
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 林強

本公開涉及用于深度神經網絡的硬件實現的層次化尾數位長度選擇。提供了用于選擇具有縮減的尾數位長度的、用于表示輸入到深度神經網絡DNN的層和/或從DNN的層輸出的值的定點數格式的層次化方法。該方法以每個層具有一個或多個初始定點數格式開始。這些層被分成層的子集，并且定點數格式的尾數位長度在每個子集的基礎上從初始定點數格式開始迭代地縮減。如果縮減導致DNN的輸出誤差超過誤差閾值，則丟棄該縮減，并且不再對該子集的層進行縮減。否則，對該子集中的層的定點數格式進行進一步縮減。一旦不能對任何子集進行進一步的縮減，則針對持續增加的多個子集重復該方法，直到每個子集達到預定數量的層為止。

技術領域

本公開涉及神經網絡，更具體地，涉及用于深度神經網絡的硬件實現的層次化尾數位長度選擇。

背景技術

深度神經網絡(DNN)是一種可用于機器學習應用的人工神經網絡。特別地，DNN可以用于信號處理應用，包括圖像處理和計算機視覺應用。

DNN已經實現于功率資源不是重要因素的應用中。盡管如此，DNN還應用于許多不同的技術領域，在這些技術領域中，用于實現DNN的硬件資源使得功耗、處理能力或硅面積受到限制。

因此，需要實現被配置為以有效方式(即以在操作時需要更少硅面積或更少處理能力的方式)實現DNN的硬件。此外，DNN可以針對各種不同的應用以多種不同的方式來配置。因此，還需要用于實現DNN的、能夠支持各種DNN配置的靈活的硬件。

下文描述的實施例僅作為示例提供，并不是作為對解決深度神經網絡的已知硬件實現的任何或所有缺點的實現方式的限制。

發明內容

提供本發明內容以介紹下面在具體實施方式中進一步描述的概念的選擇。本發明內容不用于識別請求保護的主題的關鍵特征或本質特征，也不用于限制請求保護的主題的范圍。

本文描述的是用于選擇具有縮減的尾數位長度的、用于表示輸入到DNN的層和/或從DNN的層輸出的值的定點數格式的層次化方法。該方法以每個層具有初始定點數格式開始。這些層被分成相關層的子集，并且定點數格式的尾數位長度在每個子集的基礎上從初始定點數格式開始迭代地縮減。如果縮減導致DNN的輸出誤差超過誤差閾值，則丟棄該縮減，并且不再對子集的層進行縮減。否則，對該子集進行進一步縮減。一旦不能對任何子集進行進一步的縮減，則針對持續增加的多個子集重復該方法，直到每個子集達到預定數量的層為止。

第一方面提供了一種計算機實現的方法，該方法用于選擇用來表示輸入到深度神經網絡(DNN)的多個層和/或從DNN的多個層輸出的值的定點數格式以用于配置DNN的硬件實現。該方法包括：接收DNN實例，該實例被配置為使用針對多個層中的每個層的一個或多個初始定點數格式來表示該層的值，每個初始定點數格式包括指數和尾數位長度；從多個層形成多個不相交的子集；對于多個子集中的每個子集，迭代地將子集中的層的定點數格式調整為具有下一最低尾數位長度的定點數格式，直到DNN實例的輸出誤差超過誤差閾值為止；響應于確定子集包括大于下限閾值數量的層，從多個層形成更多數量的不相交子集并重復迭代調整；以及響應于確定子集包括小于或等于下限閾值數量的層，輸出用于多個層的定點數格式。