[發明專利]一種基于牛頓迭代法的非線性激活函數計算裝置

有效

• 申請號: 202011090563.6
• 申請日: 2020-10-13
• 公開（公告）號: CN112051980B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 姜曉紅;潘哲;馬德;朱國權;郝康利
• 申請（專利權）人: 浙江大學;之江實驗室
• 主分類號: G06F7/50
• 分類號: G06F7/50;G06F7/52;G06N3/04
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

本發明公開了一種基于牛頓迭代法的非線性激活函數計算裝置，包括：多項式近似計算單元，用于對非線性激活函數進行多項式近似計算，得到第一近似結果；指數函數計算單元，用于對非線性激活函數中的指數部分進行指數函數的近似計算，得到第二近似結果；牛頓迭代計算單元，依據第一近似結果和第二近似結果采用牛頓迭代法進行迭代計算，得到精確計算結果。該非線性激活函數計算裝置適用于定點數計算，在資源消耗較少地情況下實現了高精度的計算，以滿足神經網絡模型中激活函數高效準確且降低計算能耗的需求。

技術領域

本發明涉及計算機人工智能領域，集成電路設計領域，具體涉及一種基于牛頓迭代法的非線性激活函數計算裝置。

背景技術

在人工智能領域中，線性模型的表達能力不夠，往往通過激活函數增加神經網絡模型的非線性，提升神經網絡模型表達能力，該數據常常線性不可分。常見的激活函數例如sigmoid，tanh等都涉及到指數函數運算以及除法運算，軟件上常通過迭代的算法不斷嘗試去逼近真實值，而這些函數在硬件上難以直接實現。

隨著人工智能的廣泛應用，許多深度學習硬件加速器應運而生。為了高效實現該計算過程，在集成電路設計領域，會對各種激活函數進行硬件實現。對非線性激活函數而言，硬件實現需要對硬件資源，計算精度，計算效率和計算延時進行有效權衡。簡單高效地硬件實現能夠在誤差允許的范圍內使用較少地資源完成快速計算的目的。在集成電路領域，計算元件常常包括加法器，乘法器，移位器，邏輯運算器等。這些元器件只能完成線性變換操作，不能實現指數函數等復雜函數。與ReLU等激活函數相比，sigmoid、tanh等函數復雜程度很高，較難設計實現。

申請公布號為CN107589935A的專利申請公開一種非線性函數計算裝置及方法，申請公布號為CN107590105B的專利申請公開了一種面向非線性函數的計算裝置及方法，這兩個專利申請中均將非線性函數轉化為線性函數，通過加法器和乘法器來計算，是一個低精度近似計算，計算精度不高，不滿足神經網絡模型中激活函數的計算需求。

發明內容

本發明的目的是提供一種基于牛頓迭代法的非線性激活函數計算裝置，以解決神經網絡模型中激活函數難以高效準確計算的問題。

為實現上述發明的，本發明提供以下技術方案：

一種基于牛頓迭代法的非線性激活函數計算裝置，包括：

多項式近似計算單元，用于對非線性激活函數進行多項式近似計算，得到第一近似結果；

指數函數計算單元，用于對非線性激活函數中的指數部分進行指數函數的近似計算，得到第二近似結果；

牛頓迭代計算單元，依據第一近似結果和第二近似結果采用牛頓迭代法進行迭代計算，得到精確計算結果。

優選地，多項式近似單元中，對非線性激活函數的有效計算區間進行區段劃分，根據輸入變量所屬區段提取對應的多項式參數并依據該多項式參數進行多項式近似計算，得到第一近似結果；所述多項式參數為事先多項式擬合得到的。

優選地，所述多項式近似單元中包括用于存儲多項式參數的存儲器、加法器和乘法器，來實現多項式近似計算。

優選地，所述非線性激活函數的有效計算區間為[0,8)，并將效計算區間[0,8)劃分為8個區段，針對每個區段的兩個端點值存儲區段內的多項式參數，當計算時，直接根據輸入變量所屬的區段查找得到對應的多項式參數。

優選地，所述指數函數計算單元采用表驅動(table-driven)的近似策略來對非線性激活函數中的指數部分進行指數函數近似計算，得到第二近似結果。