[發(fā)明專利]多芯片互連系統(tǒng)及神經(jīng)網(wǎng)絡加速處理方法

在審

• 申請?zhí)枺?/td>: 202111494734.6
• 申請日: 2021-12-09
• 公開（公告）號: CN113902111A
• 公開（公告）日: 2022-01-07
• 發(fā)明（設計）人: 王赟;張官興;郭蔚;黃康瑩;張鐵亮
• 申請（專利權）人: 紹興埃瓦科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N5/04
• 代理公司: 北京清大紫荊知識產(chǎn)權代理有限公司 11718
• 代理人: 黎飛鴻;馮振華

本發(fā)明提供了一種多芯片互連系統(tǒng)及神經(jīng)網(wǎng)絡加速處理方法，應用于人工智能技術領域，其中多芯片互連系統(tǒng)包括若干橋接器和至少兩個加速芯片，每個加速芯片均通過橋接器與其余加速芯片進行互連，以構成板上芯片組對神經(jīng)網(wǎng)絡進行加速處理。通過多芯片互連構成板上芯片組，為小算力加速處理器實現(xiàn)大規(guī)模算法模型運算提供了技術基礎，可提高終端、邊緣計算等設備應用神經(jīng)網(wǎng)絡的應用可能。

技術領域

本發(fā)明涉及人工智能技術領域，具體涉及一種多芯片互連系統(tǒng)及神經(jīng)網(wǎng)絡加速處理方法。

背景技術

隨著AI（Artificial Intelligence，人工智能）技術在各領域（如算法、加速硬件等）的發(fā)展，卷積神經(jīng)網(wǎng)絡模型已被大規(guī)模應用到各行各業(yè)中，如人臉識別、安防監(jiān)控、自動駕駛、語音識別等領域。

如圖1所示，卷積神經(jīng)網(wǎng)絡的宏觀結構主要包含輸入層、隱藏層和輸出層，其中輸入層為上一層特征數(shù)據(jù)經(jīng)卷積、池化、激活后的特征數(shù)據(jù)，如輸入的特征向量x1至特征向量xn；隱藏層包含若干數(shù)量、不同結構的卷積層、池化層和全連接層等網(wǎng)絡，如突觸權值w_k1至w_kn；輸出層通常是特征向量輸出層通過全連接層使用邏輯函數(shù)或歸一化指數(shù)函數(shù)（如softmax function作為激活函數(shù)）分類概率輸出層，輸出結果y_k；其中全連接層的每一個結點都與上一層的所有結點相連，用來把前邊提取到的特征綜合起來，比如通過求和節(jié)點，根據(jù)各個權值w_k1-w_kn和偏置b_k得到全連接層輸出Vk。

現(xiàn)有應用方案中，雖然終端（如智能電子設備）、邊緣計算等設備可以支持基于神經(jīng)網(wǎng)絡模型的加速推理運算，但是鑒于目前單芯片的算力、主存大小等方面均很難支持大規(guī)模神經(jīng)網(wǎng)絡模型，因而現(xiàn)有終端、邊緣計算等設備中用于推理的加速器芯片，均是基于特定的小規(guī)模、簡單神經(jīng)網(wǎng)絡模型設計，這時基于GPU（Graphics Processing Unit，圖形處理器）或TPU（Tensor Processing Unit，張量處理單元）等生產(chǎn)的超大規(guī)模（如上百兆）或大模型（如幾十兆）等復雜神經(jīng)網(wǎng)絡，卻無法部署到現(xiàn)有終端、邊緣計算等設備中，或者即使部署成功亦無法滿足實時加速推理運算要求。

因此，亟需一種新的多芯片互連方案，以將大規(guī)模神經(jīng)網(wǎng)絡模型應用于多芯片互連后的終端、邊緣計算等設備中。

發(fā)明內容

有鑒于此，本說明書實施例提供一種多芯片互連系統(tǒng)及神經(jīng)網(wǎng)絡加速處理方法，以支持大規(guī)模神經(jīng)網(wǎng)絡模型應用于終端、邊緣計算等設備中，滿足這些設備對神經(jīng)網(wǎng)絡加速推理運算要求。

本說明書實施例提供以下技術方案：

本說明書實施例提供一種多芯片互連系統(tǒng)，應用于神經(jīng)網(wǎng)絡的加速推理運算，所述多芯片互連系統(tǒng)包括：若干橋接器和至少兩個加速芯片，每個加速芯片均通過橋接器與其余加速芯片進行互連，以構成板上芯片組對神經(jīng)網(wǎng)絡進行加速處理，其中芯片組中的加速芯片加載至少一個網(wǎng)絡單元，所述網(wǎng)絡單元為神經(jīng)網(wǎng)絡被按預設的分拆策略進行分拆后形成的網(wǎng)絡單元。

在其中一個實施例中，每個所述橋接器用于各加速芯片中相同鏈路端口編號的互連，其中每個加速芯片中各個鏈路端口按序編號。

在其中一個實施例中，所述橋接器與每個設備的兩個或兩個以上端口相連。

在其中一個實施例中，所述分拆策略包括以下一種分拆方式：沿模型深度方向縱向拆分、沿模型深度方向橫向拆分、沿模型深度方向縱向及橫向拆分。

在其中一個實施例中，所述至少兩個加速芯片包括第一主加速芯片和第一從加速芯片，其中所述第一主加速芯片和所述第一從加速芯片構成第一主從設備模式。