[發明專利]多樣本多通道卷積神經網絡池化的向量化實現方法

有效

• 申請號: 201911001491.0
• 申請日: 2019-10-21
• 公開（公告）號: CN110796236B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 劉仲;魯建壯;雷元武;田希;陳海燕;劉勝;吳虎成;李勇;王耀華;李程
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 周長清;胡君

本發明公開一種多樣本多通道卷積神經網絡池化的向量化實現方法，步驟包括：步驟1：將卷積神經網絡池化層的輸入特征數據集數據按照樣本維優先方式存儲；步驟2：向量處理器按列將輸入特征數據集數據矩陣劃分為多個矩陣塊；步驟3：向量處理器依次按行抽取指定大小矩陣塊傳輸到向量處理器的陣列存儲器的數據緩沖區中；步驟4：向量處理器的各個核并行的對各自數據緩沖區中矩陣塊進行池化向量化計算，計算結果按順序傳輸至片外存儲器中；步驟5：重復步驟3至步驟4，直到完成全部池化層計算。本發明能夠充分發揮向量處理器計算性能，且具有實現方法簡單、實現效率高、功耗小且效果好等優點。

技術領域

本發明涉及向量處理器技術領域，尤其涉及一種多樣本多通道卷積神經網絡池化的向量化實現方法。

背景技術

近年來基于深度卷積神經網絡的深度學習模型在圖像識別和分類、目標檢測、視頻分析等方面取得了令人矚目的成就，成為學術界和工業界的研究熱點，并且促進了人工智能、大數據處理、處理器等相關技術的快速發展。卷積神經網絡(Convolutional NeuralNetworks，CNN)是一類包含卷積計算且具有深度結構的前饋神經網絡(FeedforwardNeural Networks)，是深度學習的代表算法之一。卷積神經網絡的輸入層可以處理多維數據，由于卷積神經網絡在計算機視覺領域應用最為廣泛，因此在設計卷積神經網絡結構時通常都是設定三維的輸入數據，即二維平面上的圖像像素數據和RGB通道。池化層是卷積神經網絡重要的組成部分，卷積神經網絡通常使用池化層來縮減網絡模型的大小，提高計算的速度，同時提高所提取特征的魯棒性。池化層主要有最大池化層和平均池化層兩種類型，最大池化層是對輸入特征矩陣在過濾器窗口區域內的元素取最大值，平均池化層是對輸入特征矩陣在過濾器窗口區域內的元素取平均值。

向量處理器是一種新穎的體系結構，能夠在保持較低功耗的同時，具有強大的計算能力，適合加速大型卷積神經網絡計算。如圖1所示，向量處理器通常包括標量處理部件(Scalar Processing Unit，SPU)和向量處理部件(Vector Processing Unit，VPU)，SPU負責標量任務計算和流控，VPU負責向量計算，提供主要的計算能力，包括若干向量處理單元(Vector Processing Element，VPE)，每個VPE包含MAC、ALU、BP等多個運算功能部件。SPU和VPU之間提供數據傳輸和交換機制，實現標、向量數據的共享和通信。向量數據訪問單元支持向量數據的Load/Store，提供大容量的專用向量陣列存儲器(Array Memory，AM)。

卷積神經網絡中池化層需要對輸入特征矩陣在過濾器窗口區域內的數據進行加載和計算，這對于標量處理器來說，只需要正確計算數據地址，就可以方便和容易的實現過濾器窗口區域內數據的加載和計算，但是對于向量處理器來說，由于通常向量處理器加載數據的向量長度與過濾器窗口大小是不一致的，會導致過濾器窗口區域內的數據加載到向量處理器的不同處理單元中，不方便后續計算。

為解決上述問題，現有技術中通常是通過混洗方法將過濾器窗口區域內的各個數據交換到向量處理器的同一處理單元上處理，如中國專利申請201710201376.2公開的一種融合ReLU激活函數與最大值池化的向量化實現方法以及專利申請201710202133.0公開的一種面向向量處理器的基于SIMD的平均值值池化并行處理方法就是采用類似方法。然而上述基于混洗的方法，混洗所需的硬件開銷大、計算效率低，且多數向量處理器考慮功耗、效率等方面的因素并不支持混洗操作。

有從業者提出按照第三維順序對數據進行排序，使得過濾器窗口區域內的各個數據能夠加載到向量處理器的同一處理單元上處理，如中國專利申請201711478728.5公開的一種多輸入多輸出矩陣平均值池化向量化實現方法以及專利申請201810757445.2公開的一種多輸入多輸出矩陣最大值池化向量化實現方法等就是采用該類方法。然而該類方法中第三維的大小不確定，與向量處理器的處理單元數量不匹配，而且不同卷積神經網絡模型、不同卷積層的第三維大小各異，使得該類方法的加載數據效率會大受影響，且不具有通用性。

發明內容