[發(fā)明專利]用于神經網絡訓練的光子張量核集成電路架構及其神經網絡訓練方法

有效

• 申請?zhí)枺?/td>: 202010546193.6
• 申請日: 2020-06-16
• 公開（公告）號: CN111723337B
• 公開（公告）日: 2023-02-07
• 發(fā)明（設計）人: 鄒衛(wèi)文;徐紹夫
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F17/16
• 分類號: G06F17/16;G06N3/0464;G06N3/084;G06F9/30
• 代理公司: 上海恒慧知識產權代理事務所(特殊普通合伙) 31317
• 代理人: 張寧展

一種用于矩陣計算的光子張量核集成電路的硬件架構及其神經網絡訓練方法。基于光電混合相干探測與電子累積原理，實現(xiàn)了一種集成化的光子點積計算單元(以下簡稱DPU)，并且將DPU陣列式排布，形成大規(guī)模并行化的矩陣乘法計算硬件，即張量核。通過雙層扇入波導總線設計，實現(xiàn)了二維大規(guī)模DPU陣列的互連。本發(fā)明還具體提出了將光子張量核集成電路應用于神經網絡訓練中的方法。本發(fā)明實現(xiàn)高速數據加載與高速矩陣計算；避免的了光電時鐘速率不匹配導致的木桶短板效應；雙層波導總線設計避免波導交叉的損耗與串擾；可以應用于所有包含矩陣計算的算法中，包括神經網絡推理與訓練。

技術領域

本發(fā)明涉及神經網絡，特別是一種光子張量核集成電路架構及其神經網絡訓練方法。

技術背景

矩陣計算作為最基礎的線性數學計算，是現(xiàn)代算法的核心計算單元，廣泛應用在包括人工智能、機器學習、自動控制、通信系統(tǒng)等眾多系統(tǒng)中。特別是神經網絡計算(包括推理與訓練)中，矩陣計算被大量使用，成為神經網絡計算量最大的部分。近年來，隨著深度學習和神經網絡技術的發(fā)展，需要的矩陣計算資源每三個半月翻一番，導致目前支撐神經網絡計算的硬件條件逐漸吃緊。在傳統(tǒng)的通用計算機中，矩陣計算在中央處理器(CPU)中執(zhí)行，由于中央處理器注重通用性，使用了更豐富的指令集但其并行化程度低(通常幾個核心)，矩陣計算的效率相對較低。隨后，圖形處理器(GPU)由于其更高的并行化(數千個核心)，替代了CPU作為最重要的神經網絡計算硬件。由于矩陣計算所需要的計算指令簡單，只需要執(zhí)行乘法與加法計算，使用更精簡的指令集和更高的并行度將再一次突破矩陣計算的效率。因此，張量處理器(TPU)被成功實現(xiàn)。在谷歌公司發(fā)布的第一代TPU中，數字表示精度降低到8位但集成了65536個乘加核心，從而將矩陣計算效率提升到了電子技術目前的最高水平(約1pJ/MAC)。然而，電子技術始終面臨著時鐘速率受限、能量效率受限等瓶頸問題，難以將計算效率進一步提升。

在此背景下，光子計算硬件成為了突破電子技術瓶頸的有效途徑。光子計算硬件的最大特征為數據傳輸無能量消耗和超高的時鐘速率，這兩點特征保證了光子計算硬件在執(zhí)行矩陣乘法時有潛力突破現(xiàn)有電子技術的最高水平。目前，光子神經網絡技術(專用于神經網絡計算的光子硬件)開始起步，大量的硬件架構被提出。但在眾多的光子神經網絡架構中，大量關注在神經網絡推理上，少有針對于神經網絡訓練的架構提出。然而，從目前的神經網絡技術發(fā)展角度看，神經網絡訓練是面臨電子技術瓶頸最嚴重的領域，因此，一種針對于高效神經網絡訓練的光子硬件架構將成為解決電子技術瓶頸問題的關鍵所在。

發(fā)明內容

本發(fā)明的目的在于針對上述現(xiàn)有技術的不足，提出一種用于神經網絡訓練的光子張量核集成電路(以下簡稱光子張量核)的硬件架構。基于光電混合相干探測與電子累積原理，實現(xiàn)了集成化的光子點積計算單元(以下簡稱DPU)，并且將DPU陣列式排布，形成大規(guī)模并行化的矩陣乘法計算硬件。通過雙層扇入波導總線設計，實現(xiàn)了二維大規(guī)模DPU陣列的互連。

本發(fā)明還提出了將光子張量核應用于神經網絡訓練中的方法。

簡要說明矩陣乘法的數學原理。

設兩個相乘的矩陣A與B，其矩陣乘法輸出矩陣為C＝AB。其中A的維度為M×S，B的維度為S×N，通過矩陣乘法，輸出矩陣C的維度為M×N。C中的每一個元素都是通過A矩陣的行與B矩陣的列進行點乘運算得到，如下：

其中，C_ij表示C矩陣中的第i行第j列元素。因此，計算C＝AB總共需要進行M×N次點積運算。

本發(fā)明光子張量核集成電路，其特點在于，主要結構包含脈沖光源、分光器陣列、A矩陣調制器陣列、B矩陣調制器陣列、層間耦合器陣列、上層總線波導、下層總線波導、點積單元陣列組成。

在芯片上，光的傳輸媒介為集成光波導，集成光波導分為上層光波導和下層光波導。

光子張量核的各部件功能描述如下。