[發明專利]一種流水式卷積計算架構設計方法及殘差網絡加速系統

有效

• 申請號: 202110262425.X
• 申請日: 2021-03-10
• 公開（公告）號: CN112862079B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 黃以華;黃俊源;陳志煒
• 申請（專利權）人: 中山大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/063;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

1.一種流水式卷積計算架構的設計方法，其特征在于，包括以下步驟：

S1：將流水式卷積計算架構分為片上緩沖區、卷積處理陣列和逐點加法模塊；

S2：設置流水式卷積計算架構的主路由三塊串行排列的卷積處理陣列組成，在它們之間插入兩塊流水線緩沖區，用于實現主路的三層卷積的層間流水，所述流水線緩沖區設置在片上緩沖區內；

S3：設置第四卷積處理陣列用于并行處理殘差積木塊分支的內核大小為1×1的卷積層，通過配置第四卷積處理陣列中的寄存器，改變其工作模式，使其可用于計算殘差網絡頭部卷積層或全連接層，當殘差積木塊的分支無卷積時，跳過第四卷積處理陣列不執行卷積；

S4：設置逐點加法模塊將殘差積木塊主路的輸出特征與分支快捷連接的輸出特征執行對應輸出特征像素逐元素相加；

所述緩沖區包括輸入緩沖區、流水線緩沖區、輸出緩沖區和權重緩沖區；其中，輸入緩沖區用于緩存從片外存儲器中讀取的特征數據切片，并為殘差積木塊主路的第一卷積處理陣列和第四卷積處理陣列所共享以提供特征輸入；在用于計算殘差積木模塊主路卷積的第一卷積處理陣列和第二卷積處理陣列的輸出端應用流水線緩沖區。

2.根據權利要求1所述的流水式卷積計算架構的設計方法，其特征在于，流水線緩沖區,用于緩存第一卷積處理陣列的輸出特征，即緩存第二卷積處理陣列的輸入特征。

3.根據權利要求2所述的流水式卷積計算架構的設計方法，其特征在于，在殘差積木塊主路的第三卷積處理陣列的輸出端設置第一輸出緩沖區，在分支快捷連接處的第四卷積處理陣列的輸出端設置第二輸出緩沖區，用于存儲卷積輸出特征結果，根據后續的運算過程不同，輸出緩沖區中的數據可能會被送到逐點加法模塊、池化運算單元或通過直接存儲器訪問模塊寫回外部存儲器。

4.根據權利要求3所述的流水式卷積計算架構的設計方法，其特征在于，權重緩沖區用于緩存各層卷積對應的權重數據切片，由于使用了流水線技術處理主路的三層卷積，為了使得下一級流水更快開始啟動同時最小化流水線緩沖區的大小，卷積計算的循環順序設計為先將某一輸出特征對應的所有輸出通道計算完畢，再更換輸出特征，按照這一順序將所有輸出特征計算完畢，避免了緩沖區的輸入特征切片的重復加載，但是造成了權重緩沖區的重復加載用以更換權重切片，為此設計每個卷積處理陣列都配有兩塊權重緩沖區：權重緩沖區a、權重緩沖區b，實現乒乓緩沖權重切片，用于重疊卷積計算延遲和加載權重的延遲。

5.根據權利要求4所述的流水式卷積計算架構的設計方法，其特征在于，逐點加法模塊用于將殘差積木塊主路的輸出特征與分支快捷連接的輸出特征執行對應輸出特征像素逐元素相加；

首先從主路的第一輸出緩沖區和第二輸出緩沖區分別讀取對應的輸出特征進行加法運算，再執行激活運算，然后將運算結果送回主路第一輸出緩沖區，根據后續的運算不同，第一輸出緩沖區的數據接下來可能被送到池化運算單元執行池化運算，或通過直接存儲器訪問模塊寫回外部存儲器。

6.根據權利要求1-4任意一項所述的流水式卷積計算架構的設計方法，其特征在于，第一至第四卷積處理陣列中的寄存器配置模塊用于接收和寄存卷積處理陣列的各項參數，包括卷積層的尺寸以及工作模式；根據寄存器配置模塊中各寄存器的值，邏輯控制模塊將控制權重和特征數據流以指定的模式送入卷積處理陣列的乘累加計算單元、偏置計算單元或激活計算單元進行運算，并將計算結果以指定的數據流模式送出。