[發明專利]一種低分辨率細胞圖像的神經網絡結構及加速電路

有效

• 申請號: 201910095424.3
• 申請日: 2019-01-31
• 公開（公告）號: CN109886860B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 余寧梅;田典;王永超
• 申請（專利權）人: 西安理工大學
• 主分類號: G06T1/40
• 分類號: G06T1/40;G06T7/12
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 楊洲

1.一種用于低分辨率細胞圖像的神經網絡結構的加速電路，其特征在于，包括有CPU（1）， CPU（1）與主存單元（2）相連；主存單元的輸出端與特征數據讀取單元（3）、卷積核數據讀取單元（4）相連；特征數據讀取單元的輸出端與乘加陣列單元（5）的輸入端相連；卷積核數據讀取單元的輸出端與乘加陣列單元的輸入端相連；乘加陣列單元的輸出端與累加緩存單元一（6）的輸入端相連；累加緩存單元一的輸出端與激活函數運算單元（7）的輸入端相連；激活函數運算單元的輸出端分別與反池化運算單元（8）的輸入端、池化運算單元（9）的輸入端相連；反池化運算單元的輸出端與通路選擇單元（10）的輸入端相連；池化運算單元的輸出端與通路選擇單元的輸入端相連；通路選擇單元的輸出端與主存單元的輸入端相連；

所述的乘加陣列單元（5）包括非零判斷單元（11），非零判斷單元與邏輯電路（12）相連；邏輯電路（12）分別與非零統計單元（13）、分配單元（14）、通路開關（15）相連；非零統計單元（13）通過門控時鐘控制單元（16）與數組乘加陣列組（17）的時鐘輸入端相連；數組乘加陣列組（17）的數據輸入端與分配單元（14）的輸出端相連；乘加陣列組（17）的輸出端與累加緩存單元二（18）的輸入端相連；累加緩存單元二（18）的序號輸入端還與分配單元（14）的序號輸出端相連；通路開關（15）的輸出端與分配單元（14）的輸入端相連；通路開關（15）的輸入端與輸入特征數據相連；

主存單元負責存儲網絡結構參數和配置, 供CPU讀取進行配置, 同時也對每個神經網絡層運算的中間數據進行存儲；特征數據讀取單元對網絡層輸入的特征數據進行讀取，并將特征數據送往乘加陣列單元；卷積核數據讀取單元對網絡層輸入的卷積核數據進行讀取, 并將讀取的數據包送往乘加陣列單元；乘加陣列單元負責對卷積核數據與特征數據進行乘加運算，獲得乘加結果，并將乘加結果送往累加緩存單元；

累加緩存單元對乘加結果進行累加，在接收乘加陣列單元輸出的乘加結果后，根據非零數據規整單元送來的非零數據序號信息重新將乘加結果恢復為原始的特征數據矩陣位置后進行累加存儲，從而完成卷積運算，輸出卷積結果到激活函數運算單元，通過乘加陣列單元和累加緩存單元可以完成算法中的卷積運算；

激活函數運算單元對卷積結果進行激活運算, 并將激活運算結果分別送往池化運算單元和反池化運算單元；

池化運算單元對數據進行池化運算, 并將結果輸出到通路選擇單元；反池化運算單元對數據進行反池化運算, 獲得反池化運算結果；并將結果輸出到通路選擇單元；

通路選擇單元根據配置選通池化運算單元或反池化運算單元，然后將運算結果的結果數據送往主存單元完成回寫操作，從而完成一個網絡層的運算；

CPU連接到主存單元（2）、特征數據讀取單元（3）、卷積核數據讀取單元（4）、乘加陣列單元（5）、累加緩存單元一（6）、激活函數運算單元（7）、反池化運算單元（8）、池化運算單元（9）、通路選擇單元（10），讀取主存儲器的網絡結構參數對電路進行總體配置，同時還負責完成merge操作；

所述的乘加陣列單元的兩個非零判斷單元（11）分別負責對特征數據和卷積核中的數據進行非零判斷, 如果數據為零, 則輸出高有效信號到邏輯電路（12）；

所述的邏輯電路（12）負責對兩個非零判斷單元（11）的判斷結果進行邏輯操作, 將運算結果送往非零統計單元和通路開關和分配單元；因為零乘以任何數都為零, 所以只要待相乘的兩個數中任何一個為零則運算結果必然為零, 所以在此使用了或操作；

所述的非零統計單元（13）負責對邏輯電路輸出的特征數據和卷積核數據都非零的操作數進行統計, 并將統計數據送往門控時鐘單元;

所述的通路開關（15）負責根邏輯電路輸出的判斷結果 ,在特征數據和卷積核數據都非零時將數據送往分配單元. 在有零時, 不將數據送往分配單元；

所述的分配單元（14）根據通路開關（15）送來的數據，依次送往每個乘加陣列組，比如先送組1的4個乘加器，然后再是組2的4個乘加器，直到送滿整個乘加陣列；同時并將該非零數據在特征數據流中的序號送往非零數據序號存儲單元；而從實現了將整個序列中的非零數據重新整齊排列到 規整緩存單元中，并將這些非零數據的序號送往累加緩存單元以方便累加時還原矩陣位置；

所述的門控時鐘控制單元（16） 根據非零數據個數和乘加陣列的每個門控時鐘控制的乘加器組中乘加器的個數, 來決定打開幾個乘加器組的時鐘，每個門控時鐘組又中包含4組乘加器為例，最大同時運行4x4個數據的乘加運算，如果非零個數為13~16個，則全部乘加器組時鐘打開，如果非零個數為9~12個，則乘加器組123時鐘打開，組4關閉，如果非零個數為5~8個，則乘加器組1和2時鐘打開， 組3和組4關閉, 如果非零個數為1~4個，則乘加器組1時鐘打開， 組2和組3和組4關閉；所述的門控時鐘控制單元負責控制每個乘加陣列組的時鐘開關；所述的乘加陣列單元5負責對特征數據和卷積核數據進行卷積運算操作，并將運算結果送往累加緩存單元，其具體結構由多個乘加器組單元組成。

2.根據權利要求1所述的一種用于低分辨率細胞圖像的神經網絡結構的加速電路，其特征在于，所述的乘加陣列組不少于4組，分別為乘加陣列組一（17）、乘加陣列組二（19）、乘加陣列組三（20）、乘加陣列組四（21）；乘加陣列組一由時鐘組一（22）和四個加乘器（23）組成； 乘加陣列組一與乘加陣列組二、乘加陣列組三、乘加陣列組四的結構相同。