[發明專利]降低加速器外部數據存儲帶寬需求的二值化系統和方法

有效

• 申請號: 201810037869.1
• 申請日: 2018-01-16
• 公開（公告）號: CN110046699B
• 公開（公告）日: 2022-11-18
• 發明（設計）人: 李斌;羅聰;吳朝暉
• 申請（專利權）人: 華南理工大學
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06F9/302;G06F9/305;G06F12/0893
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 胡輝

本發明公開了一種降低加速器外部數據存儲帶寬需求的二值化系統和方法，系統包括：輸入二值化單元、二值化乘法計算單元、緩存單元、算術邏輯計算單元、輸出二值化單元，其中，輸入二值化單元用于對輸入數據進行二值化處理，輸出二值化單元用于對輸出數據進行二值化處理。本系統通過輸入二值化單元和輸出二值化單元對輸入數據以及輸出的特征圖數據進行二值化處理，并且采用二值化的權值數據，大大降低了數據量；并且增設了緩存單元對中間數據進行緩存，降低了卷積神經網絡加速器與外部存儲器之間的訪問次數，從而降低了加速器對數據存儲帶寬的需求。本發明可以廣泛應用于數據處理領域。

技術領域

本發明涉及數據處理領域，尤其是一種降低加速器外部數據存儲帶寬需求的二值化系統和方法。

背景技術

近年來，隨著人工智能的熱度上升，人們提出了越來越多的深度學習算法模型以解決當前存在的研究問題，而卷積神經網絡在機器視覺領域上取得了巨大的成就。卷積神經網絡由于其權值的可重用性大大降低了其權值參數的數量，加速了深度學習模型的計算效率。但是隨著卷積神經網絡的研究不斷深入，層數更多、結構更加復雜的模型被提出來，其自身的大量卷積運算需要硬件加載其大量的權值數據與輸入數據，因此嵌入式人工智能硬件處理單元對外部內存帶寬的需求增大，而目前外部數據存儲器的數據帶寬成了卷積神經網絡加速器發展的瓶頸。

為了解決內存帶寬需求增大的問題，目前主要采取的方案是選用存儲帶寬更高的外部存儲器。但是外部存儲器的帶寬的增加依賴于存儲技術的發展，往往需要付出更高的成本。

因此市場上需要一種能夠降低數據存儲帶寬需求的技術。

發明內容

為解決上述技術問題，本發明的第一目的在于：提供一種降低加速器外部數據存儲帶寬需求的二值化系統。

本發明的第二目的在于：提供一種降低加速器外部數據存儲帶寬需求的二值化方法。

本發明所采取的第一種技術方案是：

降低加速器外部數據存儲帶寬需求的二值化系統，包括：

輸入二值化單元，用于對輸入數據進行二值化處理，得到二值化的輸入數據；

二值化乘法計算單元，用于對二值化的數據和權值數據進行數據處理以及向緩存單元和算術邏輯計算單元輸出數據；所述數據處理包括乘法操作、定點數乘法操作、批標準化操作和激活操作，所述權值數據為二值化的權值數據；

緩存單元，用于緩存二值化乘法計算單元和算術邏輯計算單元輸出的數據；

算術邏輯計算單元，用于對二值化乘法計算單元輸出的數據以及對緩存單元中的緩存數據進行加減操作，以及向二值化乘法計算單元和算術邏輯計算單元輸出數據；

輸出二值化單元，用于對輸出數據進行二值化處理；

所述二值化乘法計算單元、緩存單元和算術邏輯計算單元之間兩兩互相連接，所述輸入二值化單元的輸出端與二值化乘法計算單元的輸入端連接，所述緩存單元的輸出端與輸出二值化單元連接。

進一步，所述二值化乘法計算單元包括多個并行的PE計算單元，所述PE計算單元用于將由多位權值數據合并成的權值向量與由多位輸入數據合并成的輸入數據向量進行異或非操作，以及用于兩個定點數的乘法運算和比較操作。

進一步，所述緩存單元為片上分布式緩存單元，所述緩存單元包括多個并行的存儲子單元，所述多個并行的存儲子單元用于并行緩存二值化乘法計算單元或者算術邏輯計算單元輸出的多個數據，或者用于向二值化乘法計算單元或者算術邏輯計算單元并行地輸出已緩存的多個數據。

進一步，所述算術邏輯計算單元包括多個并行的加減計算子單元，所述多個加減計算子單元用于并行地計算二值化乘法計算單元或者緩存單元輸出的多個數據，或者用于向二值化乘法計算單元或者緩存單元并行地輸出多個數據。