[發(fā)明專利]一種基于FPGA加速的MobileNet-SSD目標(biāo)檢測(cè)裝置及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110434593.2
• 申請(qǐng)日: 2021-04-22
• 公開（公告）號(hào): CN113051216B
• 公開（公告）日: 2023-07-11
• 發(fā)明（設(shè)計(jì)）人: 程明;潘國(guó)標(biāo)
• 申請(qǐng)（專利權(quán)）人: 南京工業(yè)大學(xué)
• 主分類號(hào): G06F15/78
• 分類號(hào): G06F15/78;G06F13/42;G06N3/0464;G06N3/063
• 代理公司: 南京燦爛知識(shí)產(chǎn)權(quán)代理有限公司 32356
• 代理人: 趙麗

1.一種基于FPGA加速的MobileNet-SSD目標(biāo)檢測(cè)方法，其特征在于，包括如下步驟：

Step1：獲取待檢測(cè)目標(biāo)初始圖像，存儲(chǔ)目標(biāo)初始圖像數(shù)據(jù)和卷積神經(jīng)網(wǎng)絡(luò)權(quán)值文件；

Step2：在Mobilenet-SSD卷積神經(jīng)網(wǎng)絡(luò)中加入檢測(cè)層，在不同網(wǎng)絡(luò)層間共享加速器，加速器上設(shè)置片上緩沖區(qū)；

Step3：通過(guò)并行分塊參數(shù)優(yōu)化法運(yùn)行Mobilenet-SSD卷積神經(jīng)網(wǎng)絡(luò)，輸出目標(biāo)圖像的特征圖通道和卷積核通道的分塊系數(shù)；

Step4：通過(guò)流水線算法，完成Mobilenet-SSD卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)特征提取、邊界框回歸及物體類別預(yù)測(cè)；

Step5：對(duì)卷積神經(jīng)網(wǎng)絡(luò)得到的目標(biāo)特征提取、邊界框回歸及物體類別預(yù)測(cè)信息進(jìn)行后處理；

Stsp6：在待檢測(cè)目標(biāo)圖像上測(cè)試目標(biāo)檢測(cè)結(jié)果；

其中，Step3中并行分塊參數(shù)優(yōu)化法包括如下步驟：

Step3.1：分別計(jì)算輸入特征值的寬和高的分塊系數(shù)T_wi和T_hi：

T_wi＝S*T_w+K-S??(1)

T_hi＝S*T_h+K-S??(2)

其中，T_wi表示輸入特征值的寬的分塊系數(shù)，T_hi表示輸入特征值的高的分塊系數(shù)，T_w表示輸出特征圖的寬的分塊系數(shù)，T_h表示輸出特征圖的高的分塊系數(shù)，K表示卷積核的大小，S表示卷積步長(zhǎng)，

Step3.2：基于分塊系數(shù)，計(jì)算通信比CR:

其中，CR表示通信比，W表示輸出特征圖的寬，H表示輸出特征圖的高，M表示輸出特征圖的通道數(shù)，N表示輸出特征圖的卷積核通道數(shù)，K表示卷積核的大小，α_in表示輸入層所需計(jì)算存儲(chǔ)的所有分塊數(shù)，β_in表示輸入層所需計(jì)算存儲(chǔ)的分塊數(shù)大小，α_w表示卷積層所需計(jì)算存儲(chǔ)的所有分塊數(shù)，β_w表示卷積層所需計(jì)算存儲(chǔ)的分塊數(shù)的大小，α_out表示輸出層所需計(jì)算存儲(chǔ)的所有分塊數(shù)，β_out表示輸出層所需計(jì)算存儲(chǔ)的分塊數(shù)的大小，

上述公式中，α_in、β_in、α_w、β_w、α_out和β_out分別基于下述公式求解：

β_in＝T_niT_wiT_hi??(4)

β_w＝T_mT_nK²??(5)

β_out＝T_mT_wT_h??(6)

其中，T_ni表示輸入特征圖的通道對(duì)應(yīng)的分塊系數(shù)，T_w表示輸出特征圖的寬的分塊系數(shù)，表示，T_h表示輸出特征圖的高的分塊系數(shù)，T_m表示輸出特征圖的通道數(shù)的分塊系數(shù)，T_n表示輸出特征圖的卷積核通道數(shù)的分塊系數(shù)，

Step3.3：按照資源瓶頸近似公式，計(jì)算資源瓶頸R：

其中，R表示資源瓶頸，與總操作數(shù)和系統(tǒng)時(shí)鐘頻率正向相關(guān)，與執(zhí)行周期數(shù)反向相關(guān)，Step3.4：基于約束條件，在Mobilenet-SSD卷積神經(jīng)網(wǎng)絡(luò)下求解全局最優(yōu)的T_m和T_n：

其中，C₀為片上緩存量，AP表示可取的計(jì)算能力，TW表示帶寬；

Step4中流水線包括如下步驟：

Step4.1：將Mobilenet-SSD卷積神經(jīng)網(wǎng)絡(luò)中不同數(shù)據(jù)流的計(jì)算步驟在一個(gè)時(shí)鐘周期內(nèi)完成；

Step4.2：在一定閾值下回歸出類別概率較高的預(yù)測(cè)框的真實(shí)位置并進(jìn)行降序排列；

Step4.3：不同數(shù)據(jù)緩沖模塊在不同時(shí)鐘周期分別讀寫數(shù)據(jù)；

Step4.4：每達(dá)到時(shí)鐘周期的一半時(shí)，每個(gè)數(shù)據(jù)緩沖模塊一邊繼續(xù)讀數(shù)據(jù)，一邊將前半個(gè)時(shí)鐘周期讀取的數(shù)據(jù)開始向數(shù)據(jù)處理模塊寫入。