[發明專利]一種提升Cache命中率的方法、系統、設備及介質

在審

• 申請號: 202011555723.X
• 申請日: 2020-12-25
• 公開（公告）號: CN112416607A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 陳國海;馬海波;黃永明;尤肖虎
• 申請（專利權）人: 網絡通信與安全紫金山實驗室
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 南京睿之博知識產權代理有限公司 32296
• 代理人: 楊曉玲

本發明公開了一種提升Cache命中率的方法、系統、設備及介質，方法包括Cache控制優化器查詢Cache控制器管理的Cache特性信息；Cache控制優化器向Cache控制器發送可控Cache請求，Cache控制器分配Cache控制優化器可管理的可控Cache；Cache控制優化器優化可控Cache；Cache控制器釋放Cache控制優化器管理的可控Cache，釋放后的可控Cache交由Cache控制器管理調度。本發明劃分Cache的使用控制，一部分由Cache控制器按現有的替換策略進行管理，另一部分由Cache控制優化器對可控Cache進行優化管理，提高Cache的命中率。

技術領域

本發明涉及邊緣計算技術領域，尤其涉及一種提升Cache命中率的方法、系統、設備及介質。

背景技術

近年伴隨人工智能發展出現許多深度學習的框架（如TensorFlow，PyTorc，Caffe等），各種深度學習模型不斷涌出，深度學習在各行各業的應用給人們的生活帶來很多便利。比如車牌識別，各種語言間在線轉換等。

如附圖1所示，在深度學習的神經網絡中，最左邊是輸入層，最右邊是輸出層，中間可以理解為計算節點，形成一個層次概念。層上的節點越多，層次越深，深度學習的邏輯就越復雜。

計算節點（或者稱為算子）需要輸入的數據進行計算，理所當然數據是需要存儲，稱這些存儲為算子的輸入緩存，算子計算完成后，數據需要輸出，存儲輸出數據的緩存稱為算子的輸出緩存，輸入輸出緩存的數量有算子功能定義，比方說加法，將兩個矩陣相加就需要有兩個輸入緩存，如果是三個輸入矩陣就需要三個輸入緩存；緩存的大小有輸入數據的數量和數據類型共同決定。輸入輸出緩存舉例如附圖2所示。

由于參與計算的計算節點多，需要處理的數據量大，整個計算過程中數據訪問量很大。計算單元（CPU，GPU，FPGA板卡）需要讀取數據單元，如果直接從DDR讀寫數據，由于DDR的吞吐率遠小于計算單元，通常在DDR（主存）與計算單元中添加一級或者多級Cache，以滿足訪問速率的不匹配，如附圖3所示。

Cache命中的概念：CPU在訪問內存時，首先判斷所要訪問的內容是否在Cache中，如果在，就稱為“命中”，此時CPU直接從Cache中調用該內容；否則，就稱為 “不命中”。邊緣計算中使用到深度學習的模型是一個計算密集型的模型，從輸入緩存讀取數據處理完成后寫入到輸出緩存。顯然提升Cache命中率就可以提升邊緣計算模型的訓練和推理效率。如何提升Cache命中率就是一個非常重要的研究課題。

發明內容

技術目的：針對現有技術中Cache命中率較低的缺陷，本發明公開了一種提升Cache命中率的方法、系統、設備及介質，通過將Cache的使用控制分為兩個部分，一部分由Cache控制器按現有的替換策略進行管理，另一部分由Cache控制優化器對可控Cache進行優化管理，大大提高Cache的命中率。

技術方案：為實現上述技術目的，本發明采用以下技術方案。

一種提升Cache命中率的方法，包括以下步驟：

S1、Cache控制優化器查詢Cache控制器管理的Cache特性信息：Cache控制優化器向Cache控制器發送Cache特性查詢請求，Cache控制器將自身管理的Cache特性信息響應發送至Cache控制優化器；

S2、Cache控制器根據可控Cache請求分配可控Cache：Cache控制優化器獲取將要讀/寫的內存信息；Cache控制優化器向Cache控制器發送可控Cache請求，所述可控Cache請求中包含期望的Cache行數；Cache控制器響應Cache控制優化器的可控Cache請求，并分配Cache控制優化器可管理的可控Cache；