[發明專利]一種卷積神經網絡硬件模塊部署方法

在審

• 申請號: 201810539816.X
• 申請日: 2018-05-30
• 公開（公告）號: CN108416438A
• 公開（公告）日: 2018-08-17
• 發明（設計）人: 王子彤;姜凱;聶林川
• 申請（專利權）人: 濟南浪潮高新科技投資發展有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫晶偉

本發明公開一種卷積神經網絡硬件模塊部署方法,涉及卷積神經網絡實現領域；利用卷積神經網絡的上層編譯器根據目標硬件資源及卷積神經網絡模型的數據體量，對卷積神經網絡的實現形式進行模擬比較，權衡硬件資源與卷積神經網絡速度的要求，確定卷積神經網絡各個硬件模塊的部署參數，劃分各個硬件模塊的數量及確定硬件模塊間的連接方式，以實現卷積神經網絡硬件模塊部署。

技術領域

本發明公開一種卷積神經網絡硬件模塊部署方法,涉及卷積神經網絡實現領域。

背景技術

卷積神經網絡（CNN）是多層感知機（MLP）的一個變種模型。它從生物學概念中演化而來，視覺皮層細胞以某種方法覆蓋整個視覺域，就像一些濾波器一樣，它們對輸入的圖像是局部敏感的，因此能夠更好地挖掘出自然圖像中的目標的空間關系信息。CNN通過加強神經網絡中相鄰層之間節點的局部連接模式來挖掘自然圖像中興趣目標的空間局部關聯信息。

CNN的部署方式目前大多為采用X86架構CPU平臺+GPU方式作為硬件環境，在實時操作系統中運行如TensorFlow、Caffe等軟件框架，模型參數設置好后開始訓練及推理過程。在應用端由于資源等限制，往往只能運行體量較小的模型，且模型運行效率較低，識別速度遠低于PC端水平。本發明公開了一種卷積神經網絡硬件模塊部署方法，以硬件電路的形式實現某種卷積神經網絡模型，通過結合目標硬件資源及神經網絡模型體量，權衡資源與速度要求，對硬件模塊進行數量分配及連接方式劃分，可以充分利用硬件邏輯與存儲資源，高效快速完成卷積神經網絡每一層的實現部署，及不同結構層之間的轉換部署。可靈活實現各種神經硬件結構，且能將前沿研發盡早轉化成硬件實現，提升開發效率。

發明內容

本發明針對現有技術的問題，提供一種卷積神經網絡硬件模塊部署方法，采用特定結構硬件資源，針對不同神經網絡特征，實時部署CNN到應用端，可極大發揮神經網絡價值。

本發明提出的具體方案是：

一種卷積神經網絡硬件模塊部署方法：

卷積神經網絡的上層編譯器根據目標硬件資源及卷積神經網絡模型的數據體量，對卷積神經網絡的實現形式進行模擬比較，權衡硬件資源與卷積神經網絡速度的要求，確定卷積神經網絡各個硬件模塊的部署參數，劃分各個硬件模塊的數量及確定硬件模塊間的連接方式，以實現卷積神經網絡硬件模塊部署。

所述的方法中卷積神經網絡的硬件模塊包括卷積神經網絡的基礎模塊和由卷積神經網絡模型特征決定的特有模塊，其中基礎模塊包括卷積模塊，池化模塊，累加模塊，數據存取模塊，指令解析分發模塊。

所述的方法中根據目標硬件資源及卷積神經網絡模型的數據體量，對卷積神經網絡的實現形式進行模擬比較，權衡硬件資源與卷積神經網絡速度的要求，確定卷積神經網絡的卷積模塊基本單元大小、數量，以及是否將卷積模塊的基本單元進行組合。

所述的方法中根據目標硬件資源及卷積神經網絡模型的數據體量，對卷積神經網絡的實現形式進行模擬比較，權衡硬件資源與卷積神經網絡速度的要求，確定池化模塊的基本單元大小、數量。

所述的方法中根據目標硬件資源及卷積神經網絡模型的數據體量，對卷積神經網絡的實現形式進行模擬比較，權衡硬件資源與卷積神經網絡速度的要求，確定累加模塊內部樹狀結構、數量、緩存次數。

所述的方法中根據目標硬件資源及卷積神經網絡模型的數據體量，對卷積神經網絡的實現形式進行模擬比較，權衡硬件資源與卷積神經網絡速度的要求，確定數據存取模塊容量、存儲形式。

所述的方法中根據目標硬件資源及卷積神經網絡模型的數據體量，對卷積神經網絡的實現形式進行模擬比較，權衡硬件資源與卷積神經網絡速度的要求，確定指令解析分發模塊與其他模塊連接方式及指令執行反饋方式，并且硬件模塊的部署參數以指令形式存放在指令解析分發模塊中，根據指令執行反饋信息傳輸給其他硬件模塊。