[發(fā)明專利]一種用于執(zhí)行卷積神經(jīng)網(wǎng)絡正向運算的裝置和方法

在審

• 申請?zhí)枺?/td>: 202010616975.2
• 申請日: 2016-04-29
• 公開（公告）號: CN111860813A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設計）人: 陳天石;韓棟;陳云霽;劉少禮;郭崎
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種用于執(zhí)行卷積神經(jīng)網(wǎng)絡正向運算的裝置，包括:控制器單元、數(shù)據(jù)訪問單元、互連模塊、主運算模塊、以及多個從運算模塊，其中：

所述控制器單元，用于讀取指令，將所述指令譯成控制所述數(shù)據(jù)訪問單元、所述主運算模塊和所述從運算模塊行為的控制信號；

所述數(shù)據(jù)訪問單元，用于執(zhí)行所述裝置的片外存儲的地址空間與所述裝置之間的數(shù)據(jù)或指令讀寫操作；

所述從運算模塊，用于輸入數(shù)據(jù)和各自的卷積核并行執(zhí)行卷積運算，獲得對應的輸出標量；

所述互連模塊，用于所述主運算模塊和所述從運算模塊之間的數(shù)據(jù)傳輸，在神經(jīng)網(wǎng)絡全連接層正向運算開始之前，主運算模塊通過互連模塊將輸入數(shù)據(jù)輸送到每一個從運算模塊，在從運算模塊的計算過程結束后，互連模塊逐級將各從運算模塊的輸出標量拼成中間結果，輸送回主運算模塊；

所述主運算模塊，用于根據(jù)所述中間結果獲得偏置結果，并利用偏置結果執(zhí)行激活函數(shù)操作。

2.根據(jù)權利要求1所述的裝置，其中所述主運算模塊執(zhí)行激活函數(shù)操作使用的激活函數(shù)active是非線性函數(shù)sigmoid，tanh，relu，softmax中的任一個或線性函數(shù)。

3.根據(jù)權利要求1所述的裝置，其中，所述裝置還包括：

指令存儲單元，通過所述數(shù)據(jù)訪問單元讀入指令并存儲讀入的指令。

4.根據(jù)權利要求2所述的裝置，其中，所述指令包括至少1個操作碼和至少1個操作域，其中，操作碼用于指示該指令的功能；操作域用于指示該指令的數(shù)據(jù)信息，所述指令包括卷積神經(jīng)網(wǎng)絡COMPUTE指令。

5.根據(jù)權利要求4所述的裝置，其中，卷積神經(jīng)網(wǎng)絡COMPUTE指令包括以下至少一種：卷積神經(jīng)網(wǎng)絡sigmoid指令，根據(jù)該指令，所述裝置分別從存儲單元的指定地址取出指定大小的輸入數(shù)據(jù)和卷積核，在卷積運算部件中做卷積操作，然后將輸出結果做sigmoid激活；卷積神經(jīng)網(wǎng)絡TanH指令，根據(jù)該指令，裝置分別從存儲單元的指定地址取出指定大小的輸入數(shù)據(jù)和卷積核，在卷積運算部件中做卷積操作，然后將輸出結果做TanH激活；卷積神經(jīng)網(wǎng)絡ReLU指令，根據(jù)該指令，裝置分別從存儲單元的指定地址取出指定大小的輸入數(shù)據(jù)和卷積核，在卷積運算部件中做卷積操作，然后將輸出結果做ReLU激活；卷積神經(jīng)網(wǎng)絡group指令，根據(jù)該指令，裝置分別從存儲單元的指定地址取出指定大小的輸入數(shù)據(jù)和卷積核，劃分group之后，在卷積運算部件中做卷積操作，然后將輸出結果做激活；以及用于進行非線性激活和線性激活操作的運算指令。

6.根據(jù)權利要求3所述的裝置，其中所述指令還包括：

CONFIG指令，用于在每層人工神經(jīng)網(wǎng)絡計算開始前配置當前層計算需要的各種常數(shù)；

IO指令，用于從外部存儲空間讀入計算需要的輸入數(shù)據(jù)以及在計算完成后將數(shù)據(jù)存回至外部空間；

NOP指令，用于清空當前裝置內部所有控制信號緩存隊列中的控制信號，保證NOP指令之前的所有指令全部指令完畢，NOP指令本身不包含任何操作；

JUMP指令，用于控制將要從指令存儲單元讀取的下一條指令地址的跳轉，用來實現(xiàn)控制流的跳轉；

MOVE指令，用于將裝置內部地址空間某一地址的數(shù)據(jù)搬運至裝置內部地址空間的另一地址，該過程獨立于運算單元，在執(zhí)行過程中不占用運算單元的資源。

7.根據(jù)權利要求1所述的裝置，其中，所述互連模塊是所述主運算模塊和所述多個從運算模塊之間的連續(xù)或離散化數(shù)據(jù)的數(shù)據(jù)通路，互連模塊為以下任一種結構：樹狀結構、環(huán)狀結構、網(wǎng)格狀結構、分級互連、總線結構。