[發明專利]一種數據緩存方法、裝置及數據傳輸系統

有效

• 申請號: 201711377201.3
• 申請日: 2017-12-19
• 公開（公告）號: CN108170373B
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 海明
• 申請（專利權）人: 云知聲智能科技股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

本公開是關于一種數據緩存方法、裝置及數據傳輸系統。該數據緩存裝置包括：順序連接的第一緩存模塊、第二緩存模塊和第三緩存模塊，所述第一緩存模塊與隨機存取存儲器連接，所述第三緩存模塊與數據處理器連接。該技術方案依賴數據局部性原理，避免了隨機存儲器與數據處理器之間的帶寬不匹配引起的等待問題，在滿足數據局部性基礎上，通過挖掘并行運算，提高了多個數據處理器之間及多個數據處理器與隨機存儲器之間的數據讀寫的效率。

技術領域

本公開涉及數據處理技術領域，尤其涉及一種數據緩存方法、裝置及數據傳輸系統。

背景技術

在過去10多年里的計算機系統發展歷程中，運算能力的提升遠大于內存帶寬的提升，因此內存性能與運算性能之間的距離在逐漸擴大。這也是深度神經網絡加速器通常面臨的一個的挑戰。依賴于數據局部性原理的高帶寬局部緩存，在一定程度上可以解決內存帶寬與運算能力之間的不匹配問題。

發明內容

本公開實施例提供一種數據緩存方法、裝置及數據傳輸系統。所述技術方案如下：

根據本公開實施例的第一方面，提供一種數據緩存裝置，包括：順序連接的第一緩存模塊、第二緩存模塊和第三緩存模塊，所述第一緩存模塊與隨機存取存儲器連接，所述第三緩存模塊與數據處理器連接；

所述第一緩存模塊，在每個時鐘，從隨機存取存儲器獲取并緩存第一數據量的第一數據；當所述第一緩存模塊中緩存的數據達到第二數據量時，將所述第二數據量的第二數據發送至所述第二緩存模塊，其中，所述第一數據量等于所述第二數據量乘以第一帶寬比例，所述第一帶寬比例為所述第一緩存模塊與所述第二緩存模塊交互數據所占的帶寬比例；

所述第二緩存模塊，緩存所述第二數據，并將所述第二數據發送至所述第三緩存模塊；

所述第三緩存模塊，緩存所述第二數據，并在每個時鐘，向所述數據處理器發送第三數據量的第三數據，其中，所述第二數據量為所述第三數據量的n倍，n為大于1的整數。

可選的，所述第三緩存模塊，在每個時鐘，接收并緩存所述數據處理器發送的第三數據量的第四數據；當所述第三緩存模塊緩存的數據達到第二數據量，將所述第二數據量的第五數據發送至所述第二緩存模塊；

所述第二緩存模塊，將所述第五數據發送至所述第一緩存模塊；

所述第一緩存模塊，在每個時鐘，向所述隨機存取存儲器發送第一數據量的第六數據。

可選的，所述第三緩存模塊與所述第二緩存模塊交互數據所占的第二帶寬比例為1減所述第一帶寬比例。

可選的，所述第一緩存模塊和所述第三緩存模塊執行先入先出的讀寫規則。

可選的，所述數據緩存裝置包括：至少兩個第一數據緩存模塊及至少兩個第三數據緩存模塊。

可選的，當所述數據緩存裝置與至少兩個數據處理器連接時，與第一數據處理器連接的第三數據緩存模塊，接收并緩存所述第一數據處理器發送的第三數據量的第七數據，當所述第三緩存模塊緩存的數據達到第二數據量，將所述第二數據量的第八數據發送至所述第二緩存模塊；

所述第二緩存模塊，將所述第八數據通過與第二數據處理器連接的第三數據緩存模塊發送至所述第二數據處理器。根據本公開實施例的第二方面，提供一種數據緩存方法，應用于數據緩存裝置，所述數據緩存裝置包括：順序連接的第一緩存模塊、第二緩存模塊和第三緩存模塊，所述第一緩存模塊與隨機存取存儲器連接，所述第三緩存模塊與數據處理器連接；

所述方法包括：

在每個時鐘，所述第一緩存模塊從隨機存取存儲器獲取并緩存第一數據量的第一數據；