[發(fā)明專利]一種執(zhí)行人工神經網絡運算的裝置和方法

有效

• 申請?zhí)枺?/td>: 201610865933.6
• 申請日: 2016-09-29
• 公開（公告）號: CN107886166B
• 公開（公告）日: 2020-02-21
• 發(fā)明（設計）人: 陳天石;劉少禮;郭崎;陳云霽
• 申請（專利權）人: 中科寒武紀科技股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06F1/3287;G06F9/38;G06F7/575
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

本發(fā)明提供了一種執(zhí)行人工神經網絡運算的裝置和方法，裝置包括Clock Gating(時鐘門控)單元、指令緩存單元、控制器單元、直接內存訪問單元、互連模塊、主運算模塊以及多個從運算模塊。使用該裝置可以低功耗的實現(xiàn)多層人工神經網絡的運算。在人工神經網絡運算過程中，Clock Gating單元根據(jù)指令控制指令緩存單元、控制器單元、直接內存訪問單元、互連模塊、主運算單元以及多個從運算模塊的時鐘信號打開或者置0，保留具體運算相關單元的時鐘信號，無關單元的時鐘信號置0，從而減少了運算過程中參與工作模塊的數(shù)量，實現(xiàn)低功耗執(zhí)行人工神經網絡。

技術領域

本發(fā)明總體上涉及人工神經網絡，具體地涉及一種執(zhí)行人工神經網絡運算的裝置和方法，能夠解決人工神經網絡運算功耗較高的問題。

背景技術

多層人工神經網絡被廣泛應用于模式識別，圖像處理，函數(shù)逼近和優(yōu)化計算等領域，多層人工網絡在近年來由于其較高的識別準確度和較好的可并行性，受到學術界和工業(yè)界越來越廣泛的關注。

一種支持多層人工神經網絡運算的已知方法是使用通用處理器。該方法通過使用通用寄存器堆和通用功能部件執(zhí)行通用指令來支持上述算法。該方法的缺點之一是單個通用處理器的運算性能較低，無法滿足通常的多層人工神經網絡運算的性能需求。而多個通用處理器并行執(zhí)行時，通用處理器之間相互通信又成為了性能瓶頸。另外，通用處理器需要把多層人工神經網絡正向運算譯碼成一長列運算及訪存指令序列，處理器前端譯碼帶來了較大的功耗開銷。

另一種支持多層人工神經網絡運算的已知方法是使用圖形處理器(GPU)。該方法通過使用通用寄存器堆和通用流處理單元執(zhí)行通用SIMD指令來支持上述算法。由于GPU是專門用來執(zhí)行圖形圖像運算以及科學計算的設備，沒有對多層人工神經網絡運算的專門支持，仍然需要大量的前端譯碼工作才能執(zhí)行多層人工神經網絡運算，帶來了大量的額外開銷。另外GPU只有較小的片上緩存，多層人工神經網絡的模型數(shù)據(jù)(權值)需要反復從片外搬運，片外帶寬成為了主要性能瓶頸。另外，GPU只有較小的片上緩存，多層人工神經網絡的模型數(shù)據(jù)(權值)需要反復從片外搬運，片外帶寬成為了主要性能瓶頸，同時帶來了巨大的功耗開銷。

另一種支持多層人工神經網絡運算的已知方法是傳統(tǒng)神經網絡加速器。該方法通過設計專用集成電路，使用專用的寄存器堆和專用流處理單元執(zhí)行上述算法。但是隨著專用集成電路規(guī)模的不斷擴大導致專用電路高溫、高功耗等問題以及電路電流電壓頻繁變化導致的電路工作不穩(wěn)定等問題。

隨著現(xiàn)有平臺的功耗問題越來越突出，現(xiàn)有平臺已無法滿足用戶需求。

發(fā)明內容

(一)要解決的技術問題

本發(fā)明提供了一種執(zhí)行人工神經網絡運算的裝置和方法，解決現(xiàn)有技術中存在的功耗過高、運行不穩(wěn)定等問題。

(二)技術方案

本發(fā)明提供了一種執(zhí)行人工神經網絡運算的裝置，包括：控制器單元、被控模塊組和時鐘門控單元；其中，所述被控模塊組與所述時鐘門控單元連接，在所述時鐘門控單元的控制下，所述被控模塊組中參與人工神經網絡運算的模塊打開，被控模塊組中不參與人工神經網絡運算的模塊關閉，降低人工神經網絡運算的功耗。

本發(fā)明還提供了一種執(zhí)行人工神經網絡運算的方法，其利用執(zhí)行人工神經網絡運算的裝置，包括：進行人工神經網絡初始化的步驟；進行人工神經網絡計算的步驟；進行人工神經網絡計算結果輸出的步驟；其中，在上述至少一個步驟中，打開參與人工神經網絡運算的模塊，關閉不參與人工神經網絡運算的模塊，降低人工神經網絡運算的功耗。

(三)有益效果

從上述技術方案可以看出，本發(fā)明的執(zhí)行人工神經網絡運算的裝置和方法具有以下有益效果：

(1)在本發(fā)明的裝置可以將不參與運算模塊關閉，僅開啟參與運算的模塊，使得裝置的各個模塊不是始終都保持在開啟狀態(tài)，從而降低了裝置的功耗，可以實現(xiàn)低功耗的人工神經網絡運算；