[發(fā)明專利]一種基于線性分段的softmax硬件實現(xiàn)方法

有效

• 申請?zhí)枺?/td>: 202110591328.5
• 申請日: 2021-05-28
• 公開（公告）號: CN113377332B
• 公開（公告）日: 2023-08-22
• 發(fā)明（設計）人: 李麗;龍威;傅玉祥;宋文清;周禹辰;陳鎧;李偉;何書專
• 申請（專利權）人: 南京大學
• 主分類號: G06F7/498
• 分類號: G06F7/498;G06F7/575
• 代理公司: 南京泰普專利代理事務所(普通合伙) 32360
• 代理人: 方曉雯

1.一種基于線性分段的softmax硬件實現(xiàn)方法，其特征在于，具體包括以下步驟：

對源數(shù)據(jù)進行讀取和分發(fā)；

通過計算獲取源數(shù)據(jù)中的最大值；

結合查找表和線性分段擬合方法，計算源數(shù)據(jù)的自然指數(shù)；

并行輸入源數(shù)據(jù)的自然指數(shù)并進行累加操作；

結合除法計算得到最終的輸出結果；

接收輸出的結果，并按順序存入雙倍速率同步動態(tài)隨機存儲器中；

所述自然指數(shù)的獲取方式進一步為：

輸入獲取的新數(shù)據(jù)；所述新數(shù)據(jù)為去除所述最大值的源數(shù)據(jù)；

根據(jù)整數(shù)位寬參數(shù)，將所述新數(shù)據(jù)拆分為整數(shù)部分和小數(shù)部分；

對所述新數(shù)據(jù)進行整數(shù)部分的e指數(shù)結果查找和小數(shù)部分區(qū)間重映射；

查找所述小數(shù)部分的線性分段參數(shù)；

計算所述小數(shù)部分的e指數(shù)結果；

計算整數(shù)部分e指數(shù)結果和小數(shù)部分e指數(shù)結果乘積，對乘法結果進行移位還原；

所述e指數(shù)計算包括整數(shù)部分和小數(shù)部分；

所述整數(shù)部分采用直接查找；

所述小數(shù)部分采用分段擬合的方式。

2.根據(jù)權利要求1所述的一種基于線性分段的softmax硬件實現(xiàn)方法，其特征在于，

對所述源數(shù)據(jù)進行讀取的過程進一步為：從雙倍速率同步動態(tài)隨機存儲器中讀取源數(shù)據(jù)，并按照順序存入存儲陣列源數(shù)據(jù)區(qū)的內(nèi)存庫中；

對所述源數(shù)據(jù)進行分發(fā)的過程進一步為：從所述內(nèi)存庫中取出一個數(shù)，進行并行計算。

3.根據(jù)權利要求1所述的一種基于線性分段的softmax硬件實現(xiàn)方法，其特征在于，

通過配置比較器以及將計算轉(zhuǎn)化至負數(shù)域，比較所述源數(shù)據(jù)的大小，獲取所述源數(shù)據(jù)中的最大值。

4.根據(jù)權利要求1所述的一種基于線性分段的softmax硬件實現(xiàn)方法，其特征在于，

將區(qū)間壓縮算法應用于所述e指數(shù)計算小數(shù)部分查找表參數(shù)壓縮，具體實現(xiàn)方法如下：

；

；

式中，表示自然指數(shù)運算的輸入；Q表示整數(shù)值；表示小數(shù)值；

同時在此基礎上優(yōu)化區(qū)間算法，將查找表參數(shù)進一步減少，具體實現(xiàn)方法如下：

；

式中，表示自然指數(shù)運算的輸入；Q表示整數(shù)值；表示小數(shù)值。

5.根據(jù)權利要求1所述的一種基于線性分段的softmax硬件實現(xiàn)方法，其特征在于，

采用定點數(shù)實現(xiàn)，且小數(shù)點位置可配置，可根據(jù)輸入特征選擇合適的計算精度。

6.根據(jù)權利要求1所述的一種基于線性分段的softmax硬件實現(xiàn)方法，其特征在于，

所述除法計算分為一次求倒計算和至少兩次除法計算。

7.一種基于線性分段的softmax硬件實現(xiàn)系統(tǒng)，用于實現(xiàn)權利要求1~6任意一項方法，其特征在于，具體包括：

控制器，被設置為實現(xiàn)softmax運算所需的源數(shù)據(jù)的讀取和分發(fā)，以及運算結果的存儲；

最大值模塊，被設置為轉(zhuǎn)換接收到的數(shù)據(jù)至負數(shù)域，并計算獲得輸入數(shù)據(jù)中的最大值；

自然指數(shù)模塊，被設置為根據(jù)查找表和線性分段擬合方法，計算源數(shù)據(jù)的自然指數(shù)；

加法樹模塊，被設置為并行的將所有的自然指數(shù)計算結果進行求和；

除法模塊，被設置為計算每個自然指數(shù)計算結果與累加結果的比。

8.根據(jù)權利要求7所述的一種基于線性分段的softmax硬件實現(xiàn)系統(tǒng)，其特征在于，

所述控制器進一步包括：有限狀態(tài)機FSM、源數(shù)據(jù)地址產(chǎn)生模塊、寫結果地址產(chǎn)生模塊、源數(shù)據(jù)分發(fā)模塊、結果分發(fā)功能模塊；

所述最大值模塊由至少兩個多路比較器構成，通過級聯(lián)后得出數(shù)據(jù)的最大值；

所述自然指數(shù)模塊采用流水線設計，流水深度為五級；第一級流水線進行數(shù)據(jù)整數(shù)部分和小數(shù)部分的拆分，第二級流水線進行整數(shù)部分數(shù)據(jù)查找和小數(shù)部分區(qū)間重映射，第三級流水線查找小數(shù)部分的線性分段參數(shù)并經(jīng)過一次加法和乘法運算得出小數(shù)部分自然指數(shù)值，第四級流水線將整數(shù)部分結果與小數(shù)部分結果相乘，第五級流水線，將乘法結果移位還原；

所述加法樹模塊由至少兩組級聯(lián)的加法器組成；

所述除法模塊首先求出累加結果的倒數(shù)，然后逐一和每個自然指數(shù)結果做乘法計算。