[發明專利]用于降低存儲開銷的匯流陣列

有效

• 申請號: 201910982582.0
• 申請日: 2019-10-16
• 公開（公告）號: CN110764602B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 楊建磊;趙巍勝;付文智
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F1/3234
• 分類號: G06F1/3234;G06N3/063
• 代理公司: 北京航智知識產權代理事務所(普通合伙) 11668
• 代理人: 黃川;史繼穎

本發明提供一種用于降低存儲開銷的匯流單元(CE,collective element)陣列，包括多個CE，每個CE內部包含局部存儲器，每一個CE可從陣列外或相鄰CE接收數據，每一CE可將接收到的數據暫存在內部緩存或輸出到陣列之外。本發明通過CE陣列內部的數據傳遞將一個存儲器中的數據廣播到多個輸出端口上、從而有效地去除了不同存儲器間的數據冗余。并在降低存儲器容量需求的同時降低了從不同存儲器中讀取相同數據帶來的額外功耗。

技術領域

本發明涉及計算機體系結構技術領域，具體涉及一種用于降低存儲開銷的匯流單元(collective element)陣列。

背景技術

近年來，深度學習在諸如圖像識別、語音處理等領域逐漸取得愈發顯著的成績。然而，隨著網絡深度的不斷增加，深度神經網絡訓練與推理過程中所需的算力以及訪存帶寬等需求逐漸難以被傳統計算平臺所滿足。因此，產業界及學術界紛紛提出了各種應用于神經網絡的領域專用體系結構(domain specified architecture)以滿足該需求。其中，脈動陣列架構，由于具有高并發、低帶寬需求等特點，取得了產業界及學術界較大的關注。基于此，本發明的發明人設計了基于脈動陣列的神經網絡處理器，并采用匯流陣列完成其數據的匯流傳遞。同時，在計算機領域中的其他體系的芯片設計中也往往會包含多個獨立的片上存儲器。計算單元在運行過程中需從多個存儲器讀取所需數據。在當前主流的設計之中，計算單元往往通過總線與多個存儲器相連。然而，在計算單元與存儲器數量均較多、帶寬需求較大、訪存行為較為規整性時，基于總線的連接方式在面積、周期、時序等方面均有一定的浪費。此外，由于各種原因，不同存儲器中往往會包含同一數據段的多分拷貝、從而造成了容量的浪費。同時，在芯片運行過程中，由于相同的數據需被寫入到多個存儲器中、并由多個存儲器中重復讀取，因而造成了額外的功耗開銷。

發明內容

為了至少部分解決上述提出的技術問題，其可將一個存儲器中的數據沿匯流陣列內部傳播、并輸送到傳播路徑上的一個或多個匯流單元(Collective Element)的輸出端口上。尤其在對存儲器的訪問較為規整之時，本設計能夠有效去除不同存儲器間的數據冗余、并降低所需的存儲器容量。同時，通過避免同一數據段被寫入到多個存儲器、并于多個存儲器中被重復讀取，本發明提供的匯流陣列達成了訪存功耗的降低。

本發明完整的技術方案包括：

一種用于降低存儲開銷的匯流陣列，其特征在于，該匯流陣列由多個相連的匯流單元CE組成，每個CE包括陣列外輸入端口和陣列外輸出端口，以及與相連的CE雙向連接的第一數據端口和第二數據端口，各CE通過陣列外輸入端口接收由陣列外輸入的數據；并通過第一數據端口和第二數據端口與相鄰CE進行數據交換；通過陣列外輸出端口將數據輸出到陣列外；

每一CE內部均包含局部存儲器；

每一CE可將接收到的數據暫存局部存儲器或輸出到陣列之外；

所述CE之間傳遞由陣列外輸入的數據，并將從一個存儲器中讀取到的數據塊送到一個或多個輸出端口。

所述CE為同步時序電路或異步時序電路。

根據上述的匯流陣列進行數據匯流的方法，所述CE之間傳遞由陣列外輸入的數據塊，所述數據塊在由一個陣列外輸入端口送入到CE陣列之中后沿陣列內部進行傳播、并由沿途任意一個或多個CE的陣列外輸出端口送到陣列之外。

其中的一種輸送方法為：

設有N個需要傳輸的不同數據塊，以x_i-1表示第i個需要傳遞的數據塊，接收的端口個數共有N個，其中l_i-1表示第i個端口，各端口所需的數據為：數據塊x₀至x_i-1需被送到l_i-1端口上；