[發(fā)明專利]用于實施神經(jīng)網(wǎng)絡(luò)應(yīng)用的多芯片系統(tǒng)、適用于多芯片系統(tǒng)的數(shù)據(jù)處理方法、和非暫時性計算機可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 201980073119.2
• 申請日: 2019-04-10
• 公開（公告）號: CN112970037A
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計）人: 徐云植
• 申請（專利權(quán)）人: 創(chuàng)惟科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 上海翼勝專利商標(biāo)事務(wù)所(普通合伙) 31218
• 代理人: 翟羽

本申請?zhí)峁┮环N用于實現(xiàn)神經(jīng)網(wǎng)絡(luò)應(yīng)用的數(shù)據(jù)處理方法、多芯片系統(tǒng)、和非暫時性計算機可讀介質(zhì)。數(shù)據(jù)處理方法包括：分配相應(yīng)的芯片來處理第一階段數(shù)據(jù)的相應(yīng)部分和第二階段數(shù)據(jù)的相應(yīng)部分；第一芯片將第一階段數(shù)據(jù)的第一部分通過通道傳送到第二芯片；第二芯片將第一階段數(shù)據(jù)的第二部分通過通道傳送到第一芯片；第一芯片計算第一階段數(shù)據(jù)與權(quán)重值的第一部分以獲得第一結(jié)果，并且第二芯片計算第一階段數(shù)據(jù)與權(quán)重值的第二部分以獲得第二結(jié)果，其中第一結(jié)果和第二結(jié)果皆是第二階段數(shù)據(jù)的其中之一。

技術(shù)領(lǐng)域

本發(fā)明關(guān)于多芯片系統(tǒng)領(lǐng)域，特別是關(guān)于一種用于實施神經(jīng)網(wǎng)絡(luò)應(yīng)用的多芯片系統(tǒng)、適用于多芯片系統(tǒng)的數(shù)據(jù)處理方法、和非暫時性計算機可讀介質(zhì)。

背景技術(shù)

人工神經(jīng)網(wǎng)絡(luò)(artificial neural network)是參照生物腦的計算模型。在神經(jīng)網(wǎng)絡(luò)中，被稱為神經(jīng)元的節(jié)點可以互連并共同操作以處理輸入數(shù)據(jù)。不同類型的神經(jīng)網(wǎng)絡(luò)的范例包括但不限于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network)、遞歸神經(jīng)網(wǎng)絡(luò)(recurrent neural network)、深度信念網(wǎng)絡(luò)(deep belief network)，受限玻爾茲曼機(restricted Boltzman machine)等。在前饋神經(jīng)網(wǎng)絡(luò)中，神經(jīng)網(wǎng)絡(luò)的神經(jīng)元與其他神經(jīng)元有鏈接，且鏈路僅在一個方向上延伸(即向前方向)通過神經(jīng)網(wǎng)絡(luò)。

可以利用神經(jīng)網(wǎng)絡(luò)從復(fù)雜的輸入數(shù)據(jù)中提取“特征值”。神經(jīng)網(wǎng)絡(luò)可以包括多個層。每個層接收輸入數(shù)據(jù)并通過處理層的輸入數(shù)據(jù)生成輸出數(shù)據(jù)。輸出數(shù)據(jù)可以是神經(jīng)網(wǎng)絡(luò)通過將輸入圖像或特征值圖與卷積核(convolution kernel)卷積運算而產(chǎn)生的輸入數(shù)據(jù)的特征值圖。在卷積神經(jīng)網(wǎng)絡(luò)加速芯片的實現(xiàn)中，由于不可能指定加速資源的具體數(shù)量，芯片級并行化處理的可能性是最重要的部分之一。每個芯片中加速元件的同步和數(shù)據(jù)共享始終是關(guān)鍵問題。

有鑒于此，有必要提供一種用于實施神經(jīng)網(wǎng)絡(luò)應(yīng)用的多芯片系統(tǒng)、適用于多芯片系統(tǒng)的數(shù)據(jù)處理方法、和非暫時性計算機可讀介質(zhì)，以解決現(xiàn)有技術(shù)的問題。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本揭示的目的在于提供一種多芯片系統(tǒng)，一種多芯片系統(tǒng)、數(shù)據(jù)處理方法、和非暫時性計算機可讀介質(zhì)，以更有效地實現(xiàn)芯片級并行化處理。

為了達到上述目的，本揭示提供一種適用于多芯片系統(tǒng)的數(shù)據(jù)處理方法，用于實現(xiàn)神經(jīng)網(wǎng)絡(luò)應(yīng)用，其中所述多芯片系統(tǒng)包括：一通道、一第一芯片、和與所述通道連接的一第二芯片，其中所述神經(jīng)網(wǎng)絡(luò)應(yīng)用包括一第一階段數(shù)據(jù)、一第二階段數(shù)據(jù)、一第三階段數(shù)據(jù)、和多個權(quán)重值，其中所述數(shù)據(jù)處理方法包括：分配所述第一芯片來處理所述第一階段數(shù)據(jù)的一第一部分、所述第二階段數(shù)據(jù)的一第一部分、以及所述第三階段數(shù)據(jù)的一第一部分，以及并分配所述第二芯片來處理所述第一階段數(shù)據(jù)的一第二部分、所述第二階段數(shù)據(jù)的一第二部分、以及所述第三階段數(shù)據(jù)的一第二部分；所述第一芯片獲取對應(yīng)所述第二階段數(shù)據(jù)的所述多個權(quán)重值的一第一部分；所述第二芯片獲取對應(yīng)所述第二階段數(shù)據(jù)的所述多個權(quán)重值的一第二部分；所述第一芯片獲取所述第一階段數(shù)據(jù)的所述第一部分；所述第一芯片將所述第一階段數(shù)據(jù)的所述第一部分通過所述通道傳送到所述第二芯片；所述第二芯片接收所述第一階段數(shù)據(jù)的所述第一部分；所述第二芯片獲取所述第一階段數(shù)據(jù)的所述第二部分；所述第二芯片將所述第一階段數(shù)據(jù)的所述第二部分通過所述通道傳送到所述第一芯片；所述第一芯片接收所述第一階段數(shù)據(jù)的所述第二部分；所述第一芯片計算所述第一階段數(shù)據(jù)與所述多個權(quán)重值的所述第一部分以獲得一第一結(jié)果，其中所述第一結(jié)果是所述第二階段數(shù)據(jù)的其中之一；以及所述第二芯片計算所述第一階段數(shù)據(jù)與所述多個權(quán)重值的所述第二部分以獲得一第二結(jié)果，其中所述第二結(jié)果是所述第二階段數(shù)據(jù)的其中之一。