[發明專利]一種基于線性分段的激活函數的硬件實現電路和方法

在審

• 申請號: 201911037850.8
• 申請日: 2019-10-29
• 公開（公告）號: CN110796246A
• 公開（公告）日: 2020-02-14
• 發明（設計）人: 李麗;張衡;傅玉祥;何書專
• 申請（專利權）人: 南京寧麒智能計算芯片研究院有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 32346 江蘇瑞途律師事務所
• 代理人: 李維朝

1.一種基于線性分段的激活函數的硬件實現電路，其特征在于：包括：控制器模塊、地址產生模塊、數據分發模塊、初始化模塊和激活函數模塊，其中，所述地址產生模塊包括寫結果地址產生模塊，數據分發模塊包括結果數據分發模塊，

所述控制器模塊用于配置定點位寬和定點整數位寬，并將定點位寬和定點整數位寬送入到數據分發模塊，數據分發模塊將定點位寬和定點整數位寬發送給初始化模塊，地址產生模塊找到對應數據地址通過數據分發模塊讀取待處理數據送入到初始化模塊，初始化模塊根據定點位寬和定點整數位寬重構查找表并將待處理數據輸送給激活函數模塊，激活函數模塊包括sigmoid函數和tanh函數；激活函數模塊對待處理數據進行處理，然后通過結果數據分發模塊和寫結果地址產生模塊將激活函數模塊處理后的數據寫入到SRAM相應位置。

2.根據權利要求1所述的基于線性分段的激活函數的硬件實現電路，其特征在于：所述初始化模塊以定點位寬和定點整數位寬對線性分段的斜率、截距和線性分段區間進行定點化表示，若斜率、截距和線性分段區間的整數位不大于定點整數位寬，則用定點整數位寬來表示斜率、截距和線性分段區間的整數；若斜率、截距和線性分段區間的整數位大于定點整數位寬，則通過定點運算溢出，將斜率、截距和線性分段區間賦值為定點所能表達的極值，定點小數位截取斜率、截距和線性分段區間的小數位前X-1-Y位，最后用定點數據構成重構的查找表，所述定點數據包括斜率、截距和線性分段區間，其中，X為定點運算位寬，其中一位為符號位；Y為定點整數位寬。

3.根據權利要求1所述的基于線性分段的激活函數的硬件實現電路，其特征在于：sigmoid函數和tanh函數首先對待處理數據進行定點化處理，根據定點整數位寬來表示線性分段區間坐標，然后根據待處理數據的線性分段區間坐標在查找表中找到所屬的線性分段區間、斜率和截距，激活函數模塊將待處理數據與在查找表中查找到的斜率相乘后，再與在查找表中查找到的截距相加得到結果。

4.一種基于線性分段的激活函數的硬件實現方法，其特征在于：包括以下步驟：

S1、外部的源數據從DDR中按照順序搬運到bank中，先搬運到第一個bank，然后第二個，直到遍歷源數據bank；數據分發模塊根據地址產生模塊輸出的地址從源數據bank中讀取待處理數據；

S2、控制器模塊配置定點位寬和定點整數位寬，初始化模塊根據定點位寬和定點整數位寬重構查找表；激活函數模塊對待處理數據進行定點運算得到結果；

S3、通過數據分發模塊和地址產生模塊將結果存回到SRAM上；

S4、將SRAM中數據搬到DDR。

5.根據權利要求4所述的基于線性分段的激活函數的硬件實現方法，其特征在于：所述步驟S2包括以下步驟：

S21、初始化模塊根據定點位寬和定點整數位寬Y來調整線性分段區間、斜率和截距的定點表達方式，重構出查找表；

S22、激活函數模塊根據定點整數位寬Y把待處理數據調整為定點，通過查找表尋找到正確的線性分段區間、斜率、截距；

S23、激活函數模塊將待處理數據與查找到的斜率相乘后，再與查找到的截距相加得到結果，結果存儲到SRAM。

6.根據權利要求4所述的基于線性分段的激活函數的硬件實現方法，其特征在于：所述步驟S21包括：初始化模塊以定點位寬和定點整數位寬對線性分段的斜率、截距和線性分段區間進行定點化表示，若斜率、截距和線性分段區間的整數位不大于定點整數位寬，則用定點整數位寬來表示斜率、截距和線性分段區間的整數；若斜率、截距和線性分段區間的整數位大于定點整數位寬，則通過定點運算溢出，將斜率、截距和線性分段區間賦值為定點所能表達的極值，定點小數位截取斜率、截距和線性分段區間的小數位前X-1-Y位，最后用定點數據構成查找表，所述定點數據包括斜率、截距和線性分段區間，其中，X為定點運算位寬，其中一位為符號位；Y為定點整數位寬。