[發明專利]無幀緩沖器的卷積神經網絡系統與方法

有效

• 申請號: 201810767312.3
• 申請日: 2018-07-13
• 公開（公告）號: CN110717575B
• 公開（公告）日: 2022-07-26
• 發明（設計）人: 楊得煒
• 申請（專利權）人: 奇景光電股份有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06V10/25;G06V10/764;G06V10/82;G06K9/62
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 夏青;韓宏

本發明涉及一種無幀緩沖器的卷積神經網絡系統與方法。該無幀緩沖器的卷積神經網絡系統包括：感興趣區域單元，用以提取特征，據以產生輸入影像幀的感興趣區域；卷積神經網絡單元，處理輸入影像幀的感興趣區域以檢測對象；及追蹤單元，比較不同時間提取的特征，使得卷積神經網絡單元據以選擇地處理輸入影像幀。

技術領域

本發明涉及一種卷積神經網絡(CNN)，特別是關于一種無幀緩沖器的卷積神經網絡系統。

背景技術

卷積神經網絡(convolutional neural network,CNN)為人工神經網絡(artificial neural network)的一種，可用于機器學習(machine learning)。卷積神經網絡可應用于信號處理，例如圖像處理及計算機視覺。

圖1顯示傳統卷積神經網絡900的方塊圖，揭示于Li Du等人所提出的“用于物聯網的可重置串流之深卷積神經網絡加速器(AReconfigurable Streaming DeepConvolutional Neural Network Accelerator for Internet of Things)”，2017年8月，電機電子工程師學會(IEEE)電路與系統會刊(IEEE Transactions on Circuits andSystems)I：定期論文，其內容視為本說明書的一部份。卷積神經網絡900包含緩沖組(buffer bank)91，其包含單端口的靜態隨機存取存儲器(SRAM)，用以儲存中間數據(intermediate data)且與幀緩沖器(frame buffer)92交換數據，該幀緩沖器92包含動態隨機存取存儲器(DRAM)，例如雙倍數據率同步動態隨機存取存儲器(DDR DRAM)，用以儲存整個影像幀，供卷積神經網絡操作之用。緩沖組91被分為二部分：輸入層與輸出層。卷積神經網絡900包含列(column)緩沖器93，用以將緩沖組91的輸出重映射(remap)至卷積單元(convolution unit,CU)引擎陣列94。卷積單元引擎陣列94包含多個卷積單元以執行高度平行的卷積運算。卷積單元引擎陣列94包含預取(pre-fetch)控制器941，用以周期的從直接存儲器訪問(direct memory access,DMA)控制器(未顯示)取得參數且更新卷積單元引擎陣列94的權重與偏壓值。卷積神經網絡900還包含累積(accumulation)緩沖器95，具草稿(scratchpad)存儲器，用以儲存卷積單元引擎陣列94的部分卷積結果。累積緩沖器95包含最大池化(max pool)951以池化輸出層數據。卷積神經網絡900包含指令解碼器96，用以儲存預存于幀緩沖器92的命令。

如圖1所示的傳統卷積神經網絡系統，幀緩沖器包含動態隨機存取存儲器(DRAM)，例如雙倍數據率同步動態隨機存取存儲器(DDR DRAM)，用以儲存整個影像幀，供卷積神經網絡操作之用。舉例而言，分辨率為320x240的影像幀需占用空間為320x240x8位的幀緩沖器。然而，雙倍數據率同步動態隨機存取存儲器(DDR DRAM)并不適用于低功率應用，例如穿戴式或物聯網(IoT)裝置。因此亟需提出一種新穎的卷積神經網絡系統，以適用于低功率應用。

發明內容

鑒于上述，本發明實施例的目的之一在于提出一種無幀緩沖器的卷積神經網絡系統。本實施例可使用簡易系統架構以執行卷積神經網絡操作于高分辨率影像幀。

根據本發明的一實施例，一種無幀緩沖器的卷積神經網絡系統包括感興趣區域單元、卷積神經網絡單元及追蹤單元。感興趣區域單元提取特征，據以產生輸入影像幀的感興趣區域。卷積神經網絡單元處理輸入影像幀的感興趣區域以檢測對象。追蹤單元比較不同時間提取的特征，使得卷積神經網絡單元據以選擇地處理輸入影像幀，其中該感興趣區域單元產生基于區塊的特征，據以決定每一影像區塊是否執行卷積神經網絡操作。