[發明專利]一種串級CNN細粒度目標分類方法

在審

• 申請號: 202111672404.1
• 申請日: 2021-12-31
• 公開（公告）號: CN114359634A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 彭喜元;姚博文;彭宇;劉梓豪;劉連勝
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/94;G06V10/40;G06V20/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 張宏威

1.一種FPGA硬件加速器架構，其特征是：所述架構包括：CNN計算模塊、分類網絡權重參數存儲模塊和參數調度控制器；

所述CNN計算模塊用于實現分類網絡結構，根據串級CNN細粒度目標分類模型結構，以網絡中的主要計算結構卷積層為基本設計單元，設計硬件計算結構；

分類網絡權重參數存儲模塊用于存儲和輸出兩級網絡的權重數據，包括第一級分類網絡權重參數和第二級分類網絡權重參數；

所述參數調度控制器用于控制兩級網絡的運行切換和參數加載。

2.根據權利要求1所述的一種FPGA硬件加速器架構，其特征是：參數控制器根據預設的CNN計算模塊執行模式，控制權重參數存儲模塊進行權重數據的加載，然后控制數據通路切換模塊進行兩級網絡執行過程的切換。

3.根據權利要2所述的一種FPGA硬件加速器架構，其特征是：當執行第一級分類網絡時，存儲模塊由參數調度器控制輸出第一級網絡權重參數，并加載到相應的CNN計算單元中；當執行第二級分類網絡時，存儲模塊由參數調度器控制輸出第二級網絡權重中對應的目標子類權重參數，并加載到相應的CNN計算單元中。

4.根據權利要3所述的一種FPGA硬件加速器架構，其特征是：CNN計算模塊采用可復用結構設計，根據串級網絡結構的相似性，將硬件結構劃分為淺層特征提取部分、深層特征提取部分和分類器結構。

5.根據權利要3所述的一種FPGA硬件加速器架構，其特征是：淺層特征提取部分和分類器結構組成第一級CNN分類網絡；淺層特征提取部分、深層特征提取部分和分類器結構組成第二級CNN分類網絡；即第一級和第二級CNN分類網絡公用淺層特征提取結構和分類器結構，通過加載不同的模型權重參數實現網絡的切換；

在淺層特征提取最后一層和深層特征提取第一層之間設計數據通路切換模塊，用于控制特征圖數據的流向，從而實現執行的網絡模型的切換，即，當執行第一級分類網絡時，數據通路切換模塊將淺層特征提取結果直接輸出至分類器進行粗分類；當執行第二級分類網絡時，數據通路切換模塊將淺層特征提取結果輸出至深層特征提取部分。

6.一種串級CNN細粒度目標分類方法，所述方法基于如權利要求1所述的一種FPGA硬件加速器架構，其特征是：由第一級CNN分類網絡對目標進行第一次粗分類，進行宏觀目標特征的提取，實現基于明顯特征的目標粗分類；根據第一級CNN分類得到的結果，再由第二級CNN分類網絡進行細粒度分類，進行深層目標特征提取，實現基于高維特征的目標分類。

7.根據權利要求6所述的一種串級CNN細粒度目標分類方法，其特征是：第一級CNN分類網絡在深層卷積神經網絡基礎上，裁剪高維特征提取結構，構成低維的淺層特征提取網絡，并根據粗分類數據集對模型參數與結構進行訓練和微調，從而完成對多類目標的宏觀特征進行粗分類，且具體目標種類n的值不能過高。

8.根據權利要求7所述的一種串級CNN細粒度目標分類方法，其特征是：所述步驟2具體為：第二級CNN分類采用具有更深層的網絡結構，針對每一種粗分類結果構建子類數據集，并分別對第二級CNN網絡進行訓練，獲得對應的網絡權重；在細粒度分類過程中，分別向第二級網絡中加載對應目標類別權重，從而實現更加精準的細粒度目標分類。