[發明專利]一種基于光子計算芯片的卷積計算方法及裝置

在審

• 申請號: 202210475719.5
• 申請日: 2022-04-29
• 公開（公告）號: CN114723019A
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 周朗;劉凱;滿宏濤;李拓
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/067
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 劉賀秋

本申請公開了一種基于光子計算芯片的卷積計算方法及裝置。方法適用于光子計算芯片的卷積計算裝置，方法包括：獲取權重矩陣，將權重矩陣加載至光子計算芯片中的干涉儀陣列；獲取待處理的目標輸入向量；將目標輸入數據輸入至輸入端，通過輸入端利用目標輸入數據進行向量?權重矩陣的線性計算，得到輸出向量；從每個輸出向量中提取屬于同一行的元素進行求和，得到卷積核與目標特征圖之間的卷積計算結果。本申請利用光子計算芯片實現向量與權重矩陣的線性計算，能夠模擬卷積神經網絡中的矩陣與矩陣之間的運算，通過優化權重矩陣提取方法，降低了光子計算芯片的運行次數，提高了計算效率。

技術領域

本申請涉及光子芯片技術領域，尤其涉及一種基于光子計算芯片的卷積計算方法及裝置。

背景技術

人工神經網絡(Artificial Neural Network，ANN)算法內包含大量的矩陣線性乘法運算。為了實現海量的數據訓練和推理，GPU、TPU、FPGA、ASIC、類腦芯片等AI芯片應運而生。但是當前的AI芯片仍依托電子計算技術，隨著摩爾定律的失效，電子AI芯片難以滿足未來日益增長的算力需求。為此，研究者提出非馮諾依曼架構的光子計算芯片，以光信號取代電信號，實現高速、高并行、低功耗的光學神經網絡(Optical Neural Network，ONN)運算。

在傳統卷積運算中，以3×3的卷積核為例進行說明，如圖1所示。滑動窗口內特征矩陣[a11，a12，a13]，[a21，a2，a23]，[a31，a32，a33]與卷積核[w11，w12，w13]，[w21，w22，w23]，[w31，w32，w33]做卷積運算后得(a11w11+a12w12+a13w13)+(a21w21+a22w22+a23w23)+(a31w31+a32w32+a33w33)。使用光子計算芯片實現3×3卷積核W。此時，U、Σ和V*矩陣均為3×3，各需要3×(3-1)/2＝3個干涉儀，共9個干涉儀。

由于光子計算芯片的輸入為一維向量，因此需要將滑動窗口內的特征圖分三次輸入，依次為[a11，a12，a13]，[a21，a22，a23]和[a31，a32，a33]。計算結果如公式(1)-(3)。

公式(1)：

公式(2)：

公式(3)：

對比上述結果可知，公式(1)的輸出僅第1行有效，對應光子計算芯片的1號探測器。公式(2)輸出僅第2行有效，對應光子計算芯片的2號探測器。公式(3)輸出僅第1行有效，對應光子計算芯片的3號探測器。若有n個卷積核(通常nm)，該滑動窗口內下，光子計算芯片就要處理3n次，導致光子計算芯片的計算次數過多。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本申請提供了一種基于光子計算芯片的卷積計算方法及裝置。

根據本申請實施例的一個方面，提供了一種基于光子計算芯片的卷積計算方法，所述方法適用于光子計算芯片的卷積計算裝置，所述卷積計算裝置中包括光信號輸入端以及光探測器輸出端，所述輸入端與所述輸出端之間通過級聯排布的干涉儀陣列連接，所述方法包括：

獲取權重矩陣，并將所述權重矩陣加載至光子計算芯片中的干涉儀陣列；

獲取待處理的目標輸入向量，其中，所述目標輸入向量是從目標特征圖中得到的；

將所述目標輸入向量輸入至所述輸入端，通過所述輸入端利用所述目標輸入向量進行向量-權重矩陣的線性計算，得到輸出向量；

從每個輸出向量中提取屬于同一行的元素進行求和，得到卷積核與目標特征圖之間的卷積計算結果。

進一步的，所述獲取權重矩陣，包括：

從n個m×m的卷積核中提取第i行參數，并基于第i行參數生成所述第i行參數對應的m×n的權重矩陣，其中，所述第i行參數對應的權重矩陣的數量為m；