[發明專利]適用于邊緣計算平臺的Spark卷積神經網絡系統及其電路

有效

• 申請號: 201911321925.5
• 申請日: 2019-12-20
• 公開（公告）號: CN111079923B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 汪輝;夏銘;萬吉祥;田犁;黃尊愷;祝永新;封松林
• 申請（專利權）人: 中國科學院上海高等研究院
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/0464;G06N3/048;G06N3/0495;G06F15/78
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 倪靜

本申請提供適用于邊緣計算平臺的Spark卷積神經網絡系統及其電路；本發明提出的卷積神經網絡的基本構建模塊吸取了SqueezeNet的基本模塊構建思路，模塊分為壓縮層和擴展層兩個前后相連的網絡層。輸入卷積模塊的特征圖張量在通道方向也需要進行先壓縮后擴展的過程，以此降低卷積層的參數數量和進行卷積操作時的計算量。所不同的是在擴展層中，本發明并未采用傳統的標準卷積核，而是吸取了MobileNet卷積神經網絡模型的精髓，采用了輕量級的深度可分離卷積核進行網絡層的構建。深度可分離卷積的引入，可以進一步降低卷積層的參數數量和計算量。

技術領域

本申請涉及神經網絡技術領域，特別是涉及適用于邊緣計算平臺的Spark卷積神經網絡系統及其電路。

背景技術

隨著計算機硬件與傳感器技術的飛速發展，人工智能的一個領域——深度學習已經出現，并證明了它在解決以前不可能解決的復雜學習問題方面的有效性，特別是卷積神經網絡(convolutional neural networks，CNNs)已經被廣泛運用在圖像檢測和識別任務中。

隨著神經網絡的不斷發展，誕生了諸如VGG-16、ResNet、GoogleNet等新的網絡結構，其中所具有的權重參數數量和計算量也在不斷增加，對運行平臺的計算能力和存儲空間的要求也不斷提高，因此在移動端部署傳統的神經網絡會耗費比較多的資源。

目前，卷積神經網絡主要基于通用處理器實現，但基于軟件方式無法充分挖掘卷積神經網絡的并行性，它們需要密集的CPU操作和內存帶寬，這使得一般的CPU無法達到預期的性能水平，在實時性和功耗方面都不能滿足應用的需求。雖然圖形處理器(GPU)被廣泛應用于CNN的訓練以及分類任務中，然而它們過高的功耗并不適用于計算資源有限的嵌入式平臺。當前主流的FPGA芯片中具備可重構性高、開發周期短、能效收益高等優點，使得FPGA成為實現計算密集型應用加速的一種非常重要的選擇。因此，使用特定應用集成電路、現場可編程門陣列(fpga)和圖形處理單元的硬件加速器被用來提高CNNs的吞吐量。更準確地說，FPGA最近被用于加速深度學習網絡的實現，因為它們能夠最大化并行性和能源效率。

但是使用FPGA來加速CNN仍然存在很多挑戰，主要是受限于有限的計算資源和昂貴的片外存儲訪問。然而在目前主流的CNN模型中，存在大量的計算操作(1G)和大量的參數(50M)，這會消耗大量的能量。隨著技術的發展，CNN的層數和卷積結構會變得越來越復雜，更將加劇這種情況，因此，需要在電路架構層面設計一個高能效的CNN加速器。

與此同時，為了能夠將神經網絡部署到可移動的硬件平臺中，需要采用一定的方法對卷積神經網絡進行壓縮，在保持網絡精度沒有太大損失的前提之下，降低網絡模型的參數數量和計算量。傳統方法主要采用修枝剪枝和參數量化的方法減小網絡結構的復雜度和參數數量，但是這種先訓練再微調的過程本身比較復雜，并且并沒有從根本上減少傳統神經網絡架構的計算模式。

因此，如何針對CNN在FPGA上實現一種無需進行網絡剪枝和參數量化的輕量級的網絡架構，成為本領域亟需解決的技術問題。

申請內容

鑒于以上所述現有技術的缺點，本申請的目的在于提供適用于邊緣計算平臺的Spark卷積神經網絡系統及其電路，用于解決現有技術中的問題。

為實現上述目的及其他相關目的，本申請的第一方面提供一種適用于邊緣計算平臺的Spark卷積神經網絡系統，包括：Fire模塊，其包括：壓縮層，用于對輸入模塊的特征圖進行通道層面的組合以降低特征圖的通道數量；所述壓縮層包括多個第一尺寸的第一卷積核；擴展層，用于對所述特征圖的通道數量進行擴展；所述擴展層包括數量相同的第一尺寸的第一卷積核以及第二尺寸的第二卷積核；其中，所述第二卷積核為深度可分離卷積核。

于本申請的第一方面的一些實施例中，所述第一卷積核的尺寸為1×1；所述第二卷積核的尺寸為3×3。