[發明專利]一種圖像特征數據的提取方法、系統及相關裝置

在審

• 申請號: 202110873716.2
• 申請日: 2021-07-30
• 公開（公告）號: CN113706366A
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 蔣東東;董剛;趙雅倩
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06F9/30;G06F9/38;G06N3/04;G06N3/063
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 高勇

本申請提供一種圖像特征數據的提取方法，包括：獲取圖像特征數據，并確定相應的并行通道數；將所述并行通道數作為所述圖像特征數據的深度，增大所述圖像特征數據的高度；利用FPGA的預設數量個RAM作為DDR的第一級緩存進行數據復用；在所述第一級緩存后端配置與卷積核相對應的寄存器，利用所述寄存器逐行輸出所述圖像特征數據。本申請能最大限度提高DDR的讀寫效率，實現流水線不間斷數據輸出，同時降低了DDR的數據讀取壓力，能滿足后端高帶寬卷積計算單元的輸入需求。本申請還提供一種圖像特征數據的提取系統、計算機可讀存儲介質和電子設備，具有上述有益效果。

技術領域

本申請涉及數據處理領域，特別涉及一種圖像特征數據的提取方法、系統及相關裝置。

背景技術

當前，CNN(Convolutional Neural Networks，卷積神經網絡)卷積數據提取過程，主要有以下2種實現方式：

一、將圖像特征數據緩存到FPGA(Field-Programmable Gate Array，現場可編程門陣列)的片外DDR(Dynamic Random Access Memory，動態隨機存儲器)中，每次只讀取小3*3數據進行卷積，利用多次讀取小范圍DDR，降低FPGA存儲資源壓力，降低布線難度，提高后端流水線卷積乘法的速率。

因為3*3數據相當于3個3*1數據，讀取一個3*3數據，需要給DDR發送3次讀取和刷新命令，并且地址需要跳轉，非連續地址的小段數據讀寫，會極大的降低DDR讀寫速率，一般會降低到10％以下。即使目前部分優化算法可以實現3*11數據的流水線卷積計算，但是每次讀取11*3的數據，依然無法完全釋放DDR的讀寫能力，成為系統計算速度的瓶頸。

二、將數據全部讀取到FPGA中，可以在1個周期內讀出任意位置的3*3數據，用于后端的卷積計算，但是FPGA的缺點是內部RAM資源非常昂貴且很小，一般很少能達到5MB大小，一個輸入通道數據一般小于512*512*8bit，最多只能存入20個輸入通道的數據，假設按照16通道數據進行乒乓緩存，使得FPGA中RAM資源占用過多，由于FPGA的RAM為均勻分布，造成需要大面積的串聯布線，導致布線擁塞，設計實現難度極大，效率低，并且輸入通道越多，該方法越不合適，不宜擴展。

發明內容

本申請的目的是提供一種圖像特征數據的提取方法、提取系統、計算機可讀存儲介質和電子設備，能夠實現高速流水線的后端多維卷積計算。

為解決上述技術問題，本申請提供一種圖像特征數據的提取方法，具體技術方案如下：

獲取圖像特征數據，并確定相應的并行通道數；

將所述并行通道數作為所述圖像特征數據的深度，增大所述圖像特征數據的高度；

利用FPGA的預設數量個RAM作為DDR的第一級緩存進行數據復用；每個所述RAM保存一行橫向數據；

在所述第一級緩存后端配置與卷積核相對應的寄存器，利用所述寄存器逐行輸出所述圖像特征數據；其中，所述圖像特征數據輸出一次的時間作為一個時鐘周期，且從第二時鐘周期開始復用上一個時鐘周期中的圖像特征數據。

可選的，利用FPGA的預設數量個RAM作為DDR的第一級緩存進行數據復用之前，還包括：

根據卷積核大小確定所述預設數量，所述預設數量大于所述卷積核大小。

可選的，在所述第一級緩存后端配置與卷積核相對應的寄存器之后，還包括：

基于所述寄存器和所述圖像特征數據添加相應的padding。

可選的，利用所述寄存器逐行輸出所述圖像特征數據時，所述寄存器每次換行前，還包括：

清零所述寄存器的值，并復用所述RAM中的重復數據。