[發(fā)明專利]一種具有高靈活性與精度的非線性運算電路結(jié)構(gòu)

有效

• 申請?zhí)枺?/td>: 201810496471.4
• 申請日: 2018-05-22
• 公開（公告）號: CN108920748B
• 公開（公告）日: 2023-01-06
• 發(fā)明（設(shè)計）人: 韓軍;蔡宇杰;曾曉洋
• 申請（專利權(quán)）人: 復(fù)旦大學
• 主分類號: G06F30/39
• 分類號: G06F30/39;G06N3/04;G06N3/063
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發(fā)明屬于集成電路設(shè)計技術(shù)領(lǐng)域，具體為一種具有高靈活性與精度的非線性運算電路結(jié)構(gòu)。本發(fā)明電路結(jié)構(gòu)包括五部分：粗粒度的查找表X、細粒度的查找表Y、兩個用于提升查找表精度的插值器、輸出選擇器以及一些基本運算單元。該電路使用一個粗粒度的查找表來保證該電路支持很大的輸入范圍，并使用一個細粒度的查找表來覆蓋整個輸入范圍的某一部分，從而保證能在非線性函數(shù)坡度顯著變化的區(qū)域取得令人滿意的精度。本發(fā)明可提高硬件單元使用率，從而提高電路的工作效率；同時，可編程的查找表使得該電路具有很高的靈活性，可以實現(xiàn)神經(jīng)網(wǎng)絡(luò)中幾乎所有的非線性激活函數(shù)，插值器的使用進一步提升了查找表的精度以及動態(tài)范圍。

技術(shù)領(lǐng)域

本發(fā)明屬于集成電路設(shè)計技術(shù)領(lǐng)域，具體涉及一種具有高靈活性與精度的非線性運算電路結(jié)構(gòu)。

背景技術(shù)

上世紀60年代，Hubel等人通過對貓視覺皮層細胞的研究，提出了感受野這個概念，到80年代，F(xiàn)ukushima在感受野概念的基礎(chǔ)之上提出了神經(jīng)認知機的概念，可以看作是卷積神經(jīng)網(wǎng)絡(luò)的第一個實現(xiàn)網(wǎng)絡(luò)，神經(jīng)認知機將一個視覺模式分解成許多子模式（特征），然后進入分層遞階式相連的特征平面進行處理，它試圖將視覺系統(tǒng)模型化，使其能夠在即使物體有位移或輕微變形的時候，也能完成識別。

卷積神經(jīng)網(wǎng)絡(luò)是多層感知機的變種。由生物學家休博爾和維瑟爾在早期關(guān)于貓視覺皮層的研究發(fā)展而來。視覺皮層的細胞存在一個復(fù)雜的構(gòu)造。這些細胞對視覺輸入空間的子區(qū)域非常敏感，我們稱之為感受野，以這種方式平鋪覆蓋到整個視野區(qū)域。這些細胞可以分為兩種基本類型，簡單細胞和復(fù)雜細胞。簡單細胞最大程度響應(yīng)來自感受野范圍內(nèi)的邊緣刺激模式。復(fù)雜細胞有更大的接受域，它對來自確切位置的刺激具有局部不變性。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括：卷積層，池化層，全連接層。每一層有多個特征圖，每個特征圖通過一種卷積濾波器提取輸入的一種特征，每個特征圖有多個神經(jīng)元。

卷積神經(jīng)網(wǎng)絡(luò)由于其巨大的計算量，因此如何在移動終端上進行本地運算也成了一項挑戰(zhàn)，神經(jīng)網(wǎng)絡(luò)加速芯片的設(shè)計成了熱點。

本發(fā)明提出了一種具有高靈活性與精度的非線性運算電路結(jié)構(gòu)。該電路使用一個粗粒度的查找表來保證該電路支持很大的輸入范圍，并使用一個細粒度的查找表來覆蓋整個輸入范圍的某一部分，從而保證能在非線性函數(shù)坡度顯著變化的區(qū)域取得令人滿意的精度。可編程的查找表使得該電路具有很高的靈活性，可以實現(xiàn)神經(jīng)網(wǎng)絡(luò)中幾乎所有的非線性激活函數(shù)。插值器的存在進一步提升了查找表的精度以及動態(tài)范圍。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對神經(jīng)網(wǎng)絡(luò)的激活函數(shù)的運算加速，提供提出了一種具有高靈活性與精度的非線性運算電路結(jié)構(gòu)，以提高硬件復(fù)用效率，減少芯片面積。

本發(fā)明提供的針對神經(jīng)網(wǎng)絡(luò)的激活函數(shù)進行加速的電路結(jié)構(gòu)，通過使用一個粗粒度的查找表來保證該電路支持很大的輸入范圍，并使用一個細粒度的查找表來覆蓋整個輸入范圍的某一部分，從而保證能在非線性函數(shù)坡度顯著變化的區(qū)域取得令人滿意的精度。

本發(fā)明提供的非線性運算電路結(jié)構(gòu)，包括：粗粒度的查找表X、細粒度的查找表Y、兩個用于提升查找表精度的插值器、輸出選擇器，以及一些基本運算單元；粗粒度的查找表X和一個插值器，細粒度的查找表Y和另一兩個插值器，分別構(gòu)成上下對稱的兩個數(shù)據(jù)通道，其中：

所述粗粒度查找表X擁有M個入口，它可以覆蓋非線性激活函數(shù)的大部分輸入范圍。因為邏輯資源有限，粗粒度查找表X無法在很大的動態(tài)范圍內(nèi)獲得較高的精度；

所述細粒度查找表Y擁有N個入口，它僅覆蓋非線性激活函數(shù)整個輸入范圍的一小部分，通常用以覆蓋非線性函數(shù)坡度顯著變化的區(qū)域。神經(jīng)網(wǎng)絡(luò)中常用的非線性激活函數(shù)如tanh，sigmoid等，均有一個坡度顯著變化的區(qū)域，如圖2所示。細粒度查找表Y保證了電路能在非線性函數(shù)坡度顯著變化的區(qū)域取得令人滿意的精度；