[發明專利]EfficientNet的注意力機制的硬件計算方法

有效

• 申請號: 202110262446.1
• 申請日: 2021-03-10
• 公開（公告）號: CN112862080B
• 公開（公告）日: 2023-08-15
• 發明（設計）人: 黃以華;陳志煒;黃俊源
• 申請（專利權）人: 中山大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/063;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 劉俊

1.一種EfficientNet的注意力機制的硬件計算方法，其特征在于，包括以下步驟：

S1：通過深度卷積計算引擎和注意力機制硬件完成EfficientNet的深度卷積和注意力機制運算的計算；

S2：通過深度卷積計算引擎和注意力機制硬件完成EfficientNet的MBconvBlock的運算；

所述步驟S1中，在全局控制單元的控制下，從特征圖緩沖區讀取特征圖，從權重緩沖區讀取權重，進行深度卷積運算，進行Hswish函數激活；

Hswish函數激活的硬件數量等于卷積計算陣列每個周期輸出的結果的個數，深度卷積計算引擎并行輸出的結果能立刻進行激活，實現輸出數據流過Hswish函數激活硬件；

所述步驟S1中，得到經過激活的結果送入注意力模塊硬件，其過程為將激活的結果按同一個輸出通道的安排送入加法樹進行累加，同時每個周期的激活的結果以并行的數據讀寫方式寫入深度卷積引擎輸出特征緩沖區；

步驟S1中，等到深度卷積陣列把該深度卷積層的運算算完后，此時同一個輸出通道的激活結果也累加完，求平均數后得到了用于一維降維卷積的系數；當得到用于一維降維卷積的全部系數，在幾個時鐘周期內執行完一維降維卷積，其后執行一維升維卷積，得到全部的用于通道相乘的系數；

步驟S1中，以并行數據流的方式從深度卷積引擎輸出特征緩沖區讀出特征送入乘法器完成每個通道的特征和對應每個通道的系數的相乘，此時得到的特征圖即是經過注意力模塊運算的特征圖，以并行數據方式送去輸入特征緩沖區；

步驟S2中，實現深度卷積引擎的分時復用計算MBconvBlock塊的第一層卷積，第二層深度卷積和第三層卷積；加載第一層卷積的輸入特征和權重，正常啟動卷積計算，但不啟動注意力機制硬件；

步驟S2中，等算完第一層卷積的時候，將輸出特征緩沖區的結果送入特征緩沖區，開始進行深度卷積和注意力機制的運算工作；

步驟S2中，深度卷積輸出特征緩沖區的數據經過通道乘法器陣列送到輸入特征緩沖區，開啟第三層卷積的運算；

步驟S2中，如果MBconvBlock塊有輸入特征殘差項相加，則將MBconvBlock塊的第一層逐點卷積的輸入特征和第三層逐點卷積的輸出特征圖進行相加；

步驟S2中，經過三個卷積層計算而完成了一個MBconvBlock塊的計算，將特征結果送出到外部存儲器。