[發明專利]一種基于軟硬件協同加速的關系網絡推理優化的方法

有效

• 申請號: 202110757032.6
• 申請日: 2021-07-05
• 公開（公告）號: CN113673704B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 張志超;劉忠麟;蔣麗婷
• 申請（專利權）人: 中國電子科技集團公司第十五研究所
• 主分類號: G06N5/04
• 分類號: G06N5/04
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 高會允

1.一種基于軟硬件協同加速的關系網絡推理優化的方法，其特征在于，包括運行在X86/GPU平臺的支持集特征提取流程以及運行在FPGA平臺的關系網絡圖像分類推理設計；

所述支持集特征提取流程具體為：

接收不同類別的支持集圖像數據，所述支持集是由專家標注的標準數據集，其中的圖像數據尺寸一致，且分類標簽固定；其中圖像數據的類別有C類，每個類別包含K張圖像；

針對不同類別的支持集進行特征提取，構建不同的特征池，作為離線支持集特征；所述離線支持集特征包含K個特征池，每個特征池包含C類特征；

所述運行在FPGA平臺的關系網絡圖像分類推理設計采用FPGA芯片上構建的測試圖像特征提取模塊和關系計算模塊，具體執行如下流程：

接收所述離線支持集特征存入FPGA板卡上的動態隨機存取存儲器DRAM；

所述測試圖像特征提取模塊接收測試圖像，并對測試圖像進行特征提取，獲得測試圖像特征；

所述關系計算模塊利用所述測試圖像特征以及所述離線支持集特征，進行關系網絡推理計算，獲得關系分數；

所述FPGA芯片中的關系網絡圖像分類推理流程采用多核互聯設計，其中關系網絡圖像分類推理流程中設置M個關系計算模塊、N個測試圖像特征提取模塊、DRAM以及控制接口，各模塊通過AXI互聯總線互聯；

所述測試圖像特征提取模塊由4個卷積塊和2個最大池化計算層順次連接組成；

所述關系計算模塊由2個卷積塊、2個最大池化計算層以及2個全連接計算層順次連接組成；

所述卷積塊采用如下設計：

卷積塊的輸入特征圖為In，設置卷積塊的權重數據W；卷積塊的輸出特征圖為Out；

卷積塊的輸入特征圖In維度為IH×IW×IC，其中IH為卷積塊的輸入特征圖高度，IW為卷積塊的輸入特征圖寬度，IC為卷積塊的輸入特征圖通道數；卷積塊的權重數據W，維度為OC×K²×IC，其中OC為卷積塊的輸出特征圖通道數，K為卷積核大小；卷積塊的輸出為輸出特征圖Out，維度為OH×OW×OC，其中OH為卷積塊的輸出特征圖高度，OW為卷積塊的輸出特征圖寬度；

設定PE個處理單元，每個神經元內部按照單指令多數據SIMD個數據進行并行計算設計；輸入特征圖調度為PE×SIMD寬度的數據，每個PE計算的輸出為一個神經元的計算輸出，PE內部采取SIMD個計算輸出；

設定5重循環，只對最內層展開，循環從外層至最內層分別為卷積的第一重循環～卷積的第五循環：設定卷積的第一重循環變量為h，卷積的第二重循環變量w，卷積的第三重循環變量c，卷積的第四重循環變量pe，卷積的第五重循環變量為simd；

h、w、c、pe以及simd的初值設定為0,每循環一次自加1，h的上限設定為OH，w的上限設定為OW，c的上限設定為OC，pe的上限設定為PE，simd的上限設定為SIMD；

其中卷積的第五重循環設定為

Out[w][h][c/PE+pe]+＝In[pe][simd]×W[pe][simd]

其中In[pe][simd]為卷積塊的輸入特征圖In的第pe行第simd列參數；W[pe][simd]為卷積塊的權重數據W的第pe行第simd列參數；Out[w][h][c/PE+pe]為卷積塊的輸出特征圖的三維分別為w、h、simd的參數；+＝符號表示符號左邊在原有的基礎上增加一個符號右邊。