[發(fā)明專利]基于CTPN網(wǎng)絡(luò)的異構(gòu)加速系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202110090277.8
• 申請日: 2021-01-22
• 公開（公告）號: CN112732638B
• 公開（公告）日: 2022-05-06
• 發(fā)明（設(shè)計(jì)）人: 蔣劍飛;蔡亮;郭怡良;董峰;虞科華;陳可
• 申請（專利權(quán)）人: 上海交通大學(xué);北京愛奇藝科技有限公司
• 主分類號: G06F15/78
• 分類號: G06F15/78;G06N3/04
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

1.一種基于CTPN網(wǎng)絡(luò)的異構(gòu)加速系統(tǒng)，其特征在于，包括CPU端和FPGA端；

所述FPGA端包括第一子圖和第二子圖，所述CPU端包括第三子圖；

所述第一子圖包括CTPN網(wǎng)絡(luò)的CNN部分，第二子圖包括CTPN網(wǎng)絡(luò)的RNN部分，所述第三子圖包括CTPN網(wǎng)絡(luò)的剩余部分；

所述第一子圖的CNN部分與第二子圖的RNN部分的分隔為CNN網(wǎng)絡(luò)的CONV/Relu節(jié)點(diǎn)，第二子圖的RNN部分與第三子圖的分隔節(jié)點(diǎn)為RNN網(wǎng)絡(luò)的Reshape_1節(jié)點(diǎn)；

所述第一子圖和第二子圖在FPGA端執(zhí)行，所述第三子圖在CPU端執(zhí)行；

所述FPGA端的輸出作為第三子圖的輸入；

所述CPU端最終實(shí)現(xiàn)網(wǎng)絡(luò)推斷，并得到最終結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于CTPN網(wǎng)絡(luò)的異構(gòu)加速系統(tǒng)，其特征在于，所述CNN部分包括數(shù)據(jù)讀取模塊、卷積和激活函數(shù)計(jì)算模塊、數(shù)據(jù)寫回模塊和池化計(jì)算模塊，各模塊之間通過FIFO連接并完成數(shù)據(jù)傳輸。

3.根據(jù)權(quán)利要求2所述的基于CTPN網(wǎng)絡(luò)的異構(gòu)加速系統(tǒng)，其特征在于，所述數(shù)據(jù)讀取模塊包括：采用多重循環(huán)展開和乒乓緩沖的方式搬運(yùn)數(shù)據(jù)，利用內(nèi)外部帶寬減少外部存儲器的訪問。

4.根據(jù)權(quán)利要求2所述的基于CTPN網(wǎng)絡(luò)的異構(gòu)加速系統(tǒng)，其特征在于，所述卷積和激活函數(shù)計(jì)算模塊包括：分別實(shí)現(xiàn)卷積和激活函數(shù)功能，采用多計(jì)算單元并行方式，通過緩沖器累加中間結(jié)果的方法提高計(jì)算速度，并且核心乘累加部分采用定制算子替換，進(jìn)一步提高卷積計(jì)算的性能。

5.根據(jù)權(quán)利要求2所述的基于CTPN網(wǎng)絡(luò)的異構(gòu)加速系統(tǒng)，其特征在于，所述數(shù)據(jù)寫回模塊包括：采用多任務(wù)核心，提高數(shù)據(jù)寫回外部存儲器的并行度。

6.根據(jù)權(quán)利要求2所述的基于CTPN網(wǎng)絡(luò)的異構(gòu)加速系統(tǒng)，其特征在于，所述池化計(jì)算模塊包括：采用多計(jì)算單元并行方式，采用分級大小比較的策略，同一行的數(shù)值位于第一級比較，每一行的最大值位于第二級比較，實(shí)現(xiàn)每次計(jì)算獲取九個(gè)數(shù)最大值的功能，通過配置參數(shù)改變池化核大小。

7.根據(jù)權(quán)利要求1所述的基于CTPN網(wǎng)絡(luò)的異構(gòu)加速系統(tǒng)，其特征在于，所述RNN部分包括：LSTM權(quán)重讀取模塊、LSTM計(jì)算模塊和中間數(shù)據(jù)調(diào)度模塊，各模塊之間通過FIFO連接，實(shí)現(xiàn)流水線執(zhí)行。

8.根據(jù)權(quán)利要求7所述的基于CTPN網(wǎng)絡(luò)的異構(gòu)加速系統(tǒng)，其特征在于，所述LSTM權(quán)重讀取模塊包括：通過正向反向LSTM的共用減少對外部存儲器的重復(fù)訪問，提高數(shù)據(jù)提取的效率。

9.根據(jù)權(quán)利要求8所述的基于CTPN網(wǎng)絡(luò)的異構(gòu)加速系統(tǒng)，其特征在于，所述LSTM計(jì)算模塊包括：接收LSTM權(quán)重讀取模塊通過channel發(fā)來的權(quán)重，特征圖以及bias數(shù)據(jù)，將計(jì)算得到的新的記憶數(shù)據(jù)和輸出數(shù)據(jù)發(fā)送給中間數(shù)據(jù)調(diào)度模塊形成閉環(huán)，對分塊的矩陣乘法在計(jì)算過程中實(shí)現(xiàn)分塊不同精度量化；

所述中間數(shù)據(jù)調(diào)度模塊包括：接收LSTM計(jì)算模塊發(fā)送過來的新的記憶數(shù)據(jù)和輸出數(shù)據(jù)并更新緩存。

10.一種基于CTPN網(wǎng)絡(luò)的異構(gòu)加速方法，其特征在于，采用權(quán)利要求1-9中任一種所述的基于CTPN網(wǎng)絡(luò)的異構(gòu)加速系統(tǒng)，包括：

步驟1：將RPN網(wǎng)絡(luò)以子圖的形式切割出來；

步驟2：調(diào)用軟件接口對子圖形式的RPN網(wǎng)絡(luò)進(jìn)行網(wǎng)絡(luò)推斷，得到最終結(jié)果，從而在CPU端實(shí)現(xiàn)RPN網(wǎng)絡(luò)。