[發明專利]一種基于CORDIC的激活函數混合計算方法及系統

在審

• 申請號: 201911037143.9
• 申請日: 2019-10-29
• 公開（公告）號: CN110766141A
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 李麗;陳輝;傅玉祥;程開豐;何書專
• 申請（專利權）人: 南京寧麒智能計算芯片研究院有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06F17/15
• 代理公司: 32346 江蘇瑞途律師事務所
• 代理人: 金龍

本發明公開了一種基于CORDIC的激活函數混合計算方法及系統，屬于函數計算技術領域。本發明的方法為核心控制模塊根據計算類型t對待求值x進行處理得到輸入值a并輸入至雙曲旋轉模式CORDIC模塊；而后根據輸入值a進行運算得到x_n和y_n，x_n和y_n通過加法器相加得到輸入值b，并輸入至線性向量模式CORDIC模塊進行除法運算得到z′_n，之后根據計算類型t對z′_n進行處理并輸出。本發明系統包括核心控制模塊、雙曲旋轉模式CORDIC模塊和線性向量模式CORDIC模塊，雙曲旋轉模式CORDIC模塊和線性向量模式CORDIC模塊分別與核心控制模塊連接。本發明目的在于克服現有技術中，sigmoid函數和tanh函數計算精度低且計算范圍不易擴展的不足，本發明可以提高sigmoid函數和tanh函數計算精度，而且可以擴展數據范圍。

技術領域

本發明涉及函數計算技術領域，更具體地說，涉及一種基于CORDIC的激活函數混合計算方法及系統。

背景技術

CORDIC(CoordinateRotationDigitalComputer)，即坐標旋轉數字計算機，可廣泛應用于基本函數的計算，包括指數函數、除法等運算。它是J.D.Volder于1959年首先提出的。后來，J.Walter在1971年提出了統一的CORDIC算法；2004年，Tso-BingJuang等又提出了一種改進的并行的CORDIC算法，大大提高了CORDIC算法的迭代速度,并且達到了很高的精度。它的優點在于僅通過移位和加減操作平衡計算精度、面積和速度等重要硬件指標，因此廣泛應用于數字信號處理等領域。CORDIC算法有旋轉和向量兩個模式，可應用于圓坐標系、線性坐標系和雙曲線坐標系，從而可以推演出6種類型的CORDIC，進一步可以衍生出許多基本函數的運算。

激活函數是在人工神經網絡的神經元上運行的函數，負責將神經元的輸入映射到輸出端。激活函數對于人工神經網絡模型去學習、理解非常復雜和非線性的函數來說具有十分重要的作用。它們將非線性特性引入到網絡中，使得神經網絡可以任意逼近任何非線性函數，這樣神經網絡就可以應用到眾多的非線性模型中。在深度學習中，常用的激活函數主要有：sigmoid函數、tanh函數、Relu函數等等。本發明主要集中于sigmoid和tanh函數的硬件實現，這是因為指數運算和除法運算在硬件實現時較為復雜且耗面積，所以在神經網絡算法的硬件實現中獲得了很高的關注。

因此，如何設計出精度高、面積小、功耗低以及速度快的硬件電路成為主要的研究問題。傳統計算sigmoid函數和tanh函數的方法主要有查找表、分段線性近似法和多項式近似法等，但這些方法存在計算范圍不易擴展或精度低的缺點，所以研究一種克服上述問題的方法不僅意義重大，而且能夠提高神經網絡算法硬件實現的效率和性能。

綜上所述，如何提高sigmoid函數和tanh函數的計算精度以及降低計算資源開銷，是現有技術亟需解決的問題。

發明內容

1.要解決的問題

本發明的目的在于克服現有技術中，sigmoid函數和tanh函數計算結果精度低且計算范圍不易擴展的不足，提供了一種基于CORDIC的激活函數混合計算方法及系統，可以提高sigmoid函數和tanh函數計算精度，而且可以擴展數據范圍以及降低計算資源開銷。

2.技術方案

為了解決上述問題，本發明所采用的技術方案如下：