[發明專利]基于CPU和FPGA協同計算的云端深度神經網絡優化方法

在審

• 申請號: 202010153250.4
• 申請日: 2020-03-06
• 公開（公告）號: CN111488051A
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 盧暾;常玉虎;顧寧
• 申請（專利權）人: 復旦大學
• 主分類號: G06F1/3287
• 分類號: G06F1/3287;G06F9/50;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于計算機體系結構設計技術領域，具體為一種基于CPU和FPGA協同計算的云端深度神經網絡優化方法。該方法實現分為前端和后端兩部分；前端是CPU為核心的服務器端，負責流程控制、數據接收和部分處理；后端是以FPGA為核心的加速部件，包括大規模并行處理器陣列、圖形處理單元、專用集成電路以及PCI?E接口，負責深度神經網絡關鍵層的并行加速處理等。先將深度神經網絡按不同層次劃分為分別適合前端和后端處理的兩個部分。前端將接收到的數據以數據流的形式，由DDR穿梭于前后端之間處理各個層或組合層。前端靈活的流程控制配合后端高效的并行結構，可大幅提高神經網絡計算的能效比。

技術領域

本發明屬于計算機體系結構設計技術領域，具體涉及一種基于CPU和FPGA協同計算的云端深度神經網絡優化方法。

背景技術

在多種交互方式并存的人機交互過程中，會產生不同特點的交互模態數據和所對應不同深度學習模型，如卷積神經網絡（Convolutional neural networks，簡稱CNNs）模型等，而構建深度學習算法需要長時間和大量計算資源。目前主流的計算架構包括以下三種：GPU、FPGA和專用定制芯片（ASIC）。

GPU 最早是為生成基于多邊形網絡的計算機圖形而設計的，實際上這些處理器也非常適用于運行神經網絡和矩陣乘法方面的計算。但是每張GPU也會消耗大約 250 瓦的功率并且需要一個完整的計算機來支持運行。FPGA即現場可編程門陣列，是一種半定制電路，可以針對深度神經網絡模型構建出定制處理器，但其基本單元的資源有限，無法完整處理大規模深度神經網絡模型。ASIC具有速度快能耗低的優點，但其一旦定型就無法更改，不夠靈活。

本發明基于CPU和FPGA協同計算架構，通過軟硬件優化方法來解決目前大規模服務器集群在處理深度學習算法時存在著耗能高、性價比低、靈活性差、數據通信開銷大等問題。

發明內容

本發明的目的在于提供一種基于CPU和FPGA協同計算的云端深度神經網絡優化方法，用以解決目前大規模服務器集群在處理深度學習算法時存在著耗能高、性價比低、靈活性差、數據通信開銷大等問題。

本發明提供的基于CPU和FPGA協同計算的云端深度神經網絡優化方法，利用軟硬件全可編程技術，將時序大數據、大規模場景深度信息、海量個體生理信息等數據通過外部存儲接口實時調入與云服務器共享的板上內存池中，使CPU與FPGA實現協同異構模式計算。在協同計算過程中，主機中的CPU負責FPGA不擅長的復雜邏輯和事務處理等串行計算；FPGA通過共享內存池高速讀取內存數據，充分調動內部的真值表、觸發器以及其他硬件資源，動態實現多層次的深度學習模型的關鍵層（如卷積層和非線性層等），達到在硬件層次中加快模型響應速度的目的。二者各盡所能，充分發揮異構計算系統的處理能力。

本發明提供的優化方法，把深度神經網絡按不同層次劃分為分別適合前端和后端處理的兩個部分；其中：

所述前端，是以CPU為核心的服務器端，包括CPU和PCI-E總線接口的主機、控制劃分深度神經網絡的程序和加速部件驅動，負責數據接收、流程控制和部分處理；

所述后端，是以FPGA為核心的加速部件，包括現場可編程門陣列（FPGA）、大規模并行處理器陣列、圖形處理單元、專用集成電路以及PCI-E接口，負責深度神經網絡關鍵層的并行加速處理。

前端中，數據接收具體可實現為RESTful架構風格的服務端，通過網絡接收從外部客戶端發來的多模態數據請求。前端根據請求的模態類型和任務要求，選擇合適的深度處理模型。再根據數據規模權衡傳輸開銷和加速效果，確定整體控制流程。

通常線性層的傳輸開銷大于加速效果，將由前端完成處理；卷積層、非線性函數、池化層等加速效果顯著的劃分給后端處理，并參考后端預定義的網絡類型，自動將原始處理層優化組合，對應到后端 FPGA的一個獨立IP核，以減少數據傳輸損耗，提高性能。