[發(fā)明專利]適用于類神經(jīng)網(wǎng)絡(luò)模型的計算系統(tǒng)及實現(xiàn)類神經(jīng)網(wǎng)絡(luò)模型的方法

在審

• 申請?zhí)枺?/td>: 202111345697.2
• 申請日: 2021-11-15
• 公開（公告）號: CN116151316A
• 公開（公告）日: 2023-05-23
• 發(fā)明（設(shè)計）人: 關(guān)天嬋;王圣誠;牛迪民;鄭宏忠
• 申請（專利權(quán)）人: 平頭哥(上海)半導(dǎo)體技術(shù)有限公司
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/063
• 代理公司: 北京威禾知識產(chǎn)權(quán)代理有限公司 11838
• 代理人: 王月玲

本申請公開了一種適用于類神經(jīng)網(wǎng)絡(luò)模型的計算系統(tǒng)。類神經(jīng)網(wǎng)絡(luò)模型具有多層結(jié)構(gòu)，且多層結(jié)構(gòu)中第一層的輸出數(shù)據(jù)是用以作為第二層計算所需的數(shù)據(jù)。計算系統(tǒng)包括第一處理單元、第二處理單元及第三處理單元。第一處理單元用以依據(jù)第一層的輸入數(shù)據(jù)的第一部分執(zhí)行第一層的運算操作以產(chǎn)生輸出數(shù)據(jù)的第一部分。第二處理單元用以依據(jù)第一層的輸入數(shù)據(jù)的第二部分執(zhí)行第一層的運算操作以產(chǎn)生輸出數(shù)據(jù)的第二部分。第三處理單元用以依據(jù)輸出數(shù)據(jù)的第一部分及第二部分執(zhí)行第二層的運算操作。第一處理單元、第二處理單元及第三處理單元具有相同結(jié)構(gòu)。

技術(shù)領(lǐng)域

本申請涉及一種計算系統(tǒng)，尤其涉及一種適用于類神經(jīng)網(wǎng)絡(luò)模型的計算系統(tǒng)。

背景技術(shù)

類神經(jīng)網(wǎng)絡(luò)又被稱為人工神經(jīng)網(wǎng)絡(luò)，是一種模仿生物神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及功能的數(shù)學(xué)模型，常被應(yīng)用在人工智能及人工感知的領(lǐng)域中。一般來說，基本的類神經(jīng)網(wǎng)絡(luò)具有執(zhí)行不同計算的輸入層及輸出層，且輸入層的計算結(jié)果會被傳送至輸出層以作為輸出層計算所需的數(shù)據(jù)。然而，隨著應(yīng)用日益復(fù)雜，類神經(jīng)網(wǎng)絡(luò)也發(fā)展出更多層的結(jié)構(gòu)，例如在輸入層及輸出層之間又加入了一個或多個隱藏層，而形成了深度類神經(jīng)網(wǎng)絡(luò)。

由于深度類神經(jīng)網(wǎng)絡(luò)模型中每一層的計算量和操作的復(fù)雜度都可能不同，因此如何在硬件上有效地實現(xiàn)深度類神經(jīng)網(wǎng)絡(luò)模型所需的大量計算，就成了有待解決的問題。

發(fā)明內(nèi)容

本揭示的一實施例提供一種適用于類神經(jīng)網(wǎng)絡(luò)模型的計算系統(tǒng)。所述類神經(jīng)網(wǎng)絡(luò)模型具有多層結(jié)構(gòu)，且所述多層結(jié)構(gòu)中第一層的輸出數(shù)據(jù)是用以作為第二層計算所需的數(shù)據(jù)。所述計算系統(tǒng)包括第一處理單元、第二處理單元及第三處理單元，所述計算系統(tǒng)用以配置所述第一處理單元、所述第二處理單元及所述第三處理單元以提升所述計算系統(tǒng)運行所述類神經(jīng)網(wǎng)絡(luò)模型時的效能及硬件使用率中的至少一者。所述第一處理單元用以依據(jù)所述第一層的輸入數(shù)據(jù)的第一部分執(zhí)行所述第一層的運算操作以產(chǎn)生所述輸出數(shù)據(jù)的第一部分。所述第二處理單元用以依據(jù)所述第一層的所述輸入數(shù)據(jù)的第二部分執(zhí)行所述第一層的運算操作以產(chǎn)生所述輸出數(shù)據(jù)的第二部分。所述第三處理單元用以依據(jù)所述輸出數(shù)據(jù)的所述第一部分及所述第二部分執(zhí)行所述第二層的運算操作。所述第一處理單元、所述第二處理單元及所述第三處理單元具有相同結(jié)構(gòu)。

本揭示的另一實施例提供一種實現(xiàn)類神經(jīng)網(wǎng)絡(luò)模型的方法，所述類神經(jīng)網(wǎng)絡(luò)模型具有多層結(jié)構(gòu)，且所述多層結(jié)構(gòu)中第一層的輸出數(shù)據(jù)是用以作為第二層計算所需的數(shù)據(jù)。所述方法包括在初始模擬程序中，依據(jù)初始配置來排置多個處理單元以運行所述類神經(jīng)網(wǎng)絡(luò)模型，其中在所述初始配置的所述多個處理單元中，每一處理單元是單獨執(zhí)行所述類神經(jīng)網(wǎng)絡(luò)模型中至少一對應(yīng)層的計算，紀錄在所述初始模擬程序中每一處理單元的計算延遲時間，依據(jù)至少在所述初始模擬程序中每一處理單元的所述計算延遲時間，決定第一優(yōu)化配置中所述類神經(jīng)網(wǎng)絡(luò)模型中每一層所使用的處理單元數(shù)量以提升運行所述類神經(jīng)網(wǎng)絡(luò)模型時的效能及硬件使用率中的至少一者，及在第一優(yōu)化模擬程序中，排置所述第一優(yōu)化配置中的多個處理單元以運行所述類神經(jīng)網(wǎng)絡(luò)模型。

本揭示的實施例所提供的計算系統(tǒng)及實現(xiàn)類神經(jīng)網(wǎng)絡(luò)模型的方法可以使用多個處理單元來共同處理類神經(jīng)網(wǎng)絡(luò)模型中同一層的計算或使用單一個處理單元獨自處理多層計算，使得管線化的設(shè)計能更具彈性，并使每一個處理單元的計算負擔(dān)較為平均，從而提升運行類神經(jīng)網(wǎng)絡(luò)模型時的效能。

附圖說明

圖1是用于圖像辨識的卷積神經(jīng)網(wǎng)絡(luò)模型的分層示意圖。

圖2是本揭示一實施例的用以實現(xiàn)類神經(jīng)網(wǎng)絡(luò)模型的計算系統(tǒng)的示意圖。

圖3是圖2中多個處理單元的數(shù)據(jù)排程時序圖。

圖4是本揭示另一實施例的計算系統(tǒng)的示意圖。

圖5是圖4中多個處理單元的數(shù)據(jù)排程時序圖。

圖6是本揭示另一實施例的處理單元的示意圖。

圖7是本揭示另一實施例的計算系統(tǒng)的示意圖。