[發明專利]多輸入多輸出矩陣平均值池化向量化實現方法

有效

• 申請號: 201711478728.5
• 申請日: 2017-12-29
• 公開（公告）號: CN108205703B
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 郭陽;張軍陽;楊超;田希;扈嘯;李斌
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 周長清

一種多輸入多輸出矩陣平均值池化的向量化實現方法，其步驟為：S1：根據向量處理器中向量處理單元VPE的數量M等參數確定向量處理器單核同時計算的輸入特征圖數量；S2：將輸入特征圖按照第三維進行排序；S3：完成所有輸入特征圖的排序；S4：將排序好的輸入特征圖由DMA傳輸至向量處理器核內AM中；S5：向量加載并依次與接下來的數據行進行累加，得出輸入特征圖對應位置池化窗口的取平均值池化結果；S6：根據水平移動步長，順移至下一個池化窗口；S7：重復步驟S5?S6；S8：重復步驟S6?S7N/M次，最終完成N張輸入特征圖的平均值池化操作。本發明具有實現簡單、操作方便、可提高多核向量處理器并行性、能提高處理器運算效率等優點。

技術領域

本發明主要涉及到深度學習、卷積神經網絡領域，特指一種多輸入多輸出矩陣平均值池化向量化實現方法。

背景技術

卷積神經網絡是當前深度學習算法模型中應用的最多的一種神經網絡模型，同時也是識別率最好的一種模型。卷積神經網絡模型中一般包括矩陣卷積、激活函數、最大值池化或平均值池化、局部線性歸一化操作等。

池化層位于卷積層之后，一般通過卷積層獲得特征之后，希望利用這些特征取做分類，理論上，可以使用所有提取得到的特征取訓練分類器，但這樣會面臨來自巨大計算量上的挑戰。假設有一個96×96像素的輸入圖像，已經學習得到400個定義在8×8輸入上的特征，每個特征和輸入圖像卷積都會得到一個(96-8+1)×(96-8+1)＝7921維的輸入卷積特征。由于有400個特征，所以每個樣例都會得到一個89×89×400＝3168400維的卷積特征向量，而學習這么大規模的分類器容易出現過擬合。

而池化操作是對卷積特征向量進行降維的一種重要方法，可以通過計算圖像一個區域上的某個特定特征的平均值(或最大值)，這些概要統計特征不僅具有很低的維度，同時還會改善結果，不易出現過擬合。

此外池化操作還具有平移不變形，即圖像經過一個小的平移之后，依然會產生相同的池化特征，而這種特性在物體檢測、圖像識別、語音識別等領域具有重要的應用前景，例如，當處理一個MNIST數據集數字的時候，把它向左側或右側平移，那么不論最終的位置在哪里，都會期望你的分類器仍然能夠精確地將其分類為相同的數字。

由于卷積神經網絡中，具有多個輸入特征圖和多個輸出特征圖，相應的就會有多個進行平均值池化的輸入特征圖和多個輸出特征圖，而如何最大化平均值池化的計算過程，也是一個重要的研究內容。

如圖1所示，向量處理器是一種新型的體系結構，包括進行標量運算的標量處理單元(SPU)和進行向量運算的向量處理單元(VPU)，通過合理的任務劃分可以充分發揮向量處理器的計算優勢。

發明內容

本發明要解決的技術問題就在于：針對現有技術存在的技術問題，本發明提供一種實現簡單、操作方便、可提高多核向量處理器并行性、能提高處理器運算效率的多輸入多輸出矩陣平均值池化向量化實現方法。

為解決上述技術問題，本發明采用以下技術方案：

一種多輸入多輸出矩陣平均值池化的向量化實現方法，其步驟為：

S1：根據向量處理器中向量處理單元VPE的數量M，輸入特征圖的數量N，尺寸為n×n，平均值池化的移動步長為s，池化窗口k，確定向量處理器單核同時計算的輸入特征圖數量；

S2：將M個輸入特征圖按照第三維進行排序；

S3：步驟S2進行N/M次，直至完成所有N張輸入特征圖的排序；

S4：將步驟S3中排序好的輸入特征圖由DMA傳輸至向量處理器核內AM中；

S5：向量加載AM中的第1行，依次與接下來的數據行進行累加，共計累加k×k次，并將該累加結果與1/k2相乘，同時得出M個輸入特征圖對應位置池化窗口為k×k的取平均值池化結果；