[發(fā)明專利]一種數(shù)據(jù)緩存方法、裝置、設備及介質

在審

• 申請?zhí)枺?/td>: 202110410477.7
• 申請日: 2021-04-16
• 公開（公告）號: CN113138945A
• 公開（公告）日: 2021-07-20
• 發(fā)明（設計）人: 池仲柏;黃永;李秀海;劉啟波;陳滿明;陳智亮
• 申請（專利權）人: 宜通世紀科技股份有限公司
• 主分類號: G06F12/0871
• 分類號: G06F12/0871;G06F3/06
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 常柯陽

本發(fā)明公開了一種數(shù)據(jù)緩存方法、裝置、設備及介質，方法包括：響應于空間分配請求，對固定區(qū)域磁盤空間進行預分配，確定內存塊緩沖區(qū)；響應于數(shù)據(jù)寫入請求，將第一數(shù)據(jù)循環(huán)寫入所述內存塊緩沖區(qū)或所述磁盤；響應于數(shù)據(jù)讀取請求，從所述內存塊緩沖區(qū)或所述磁盤中循環(huán)讀取第二數(shù)據(jù)。本發(fā)明提高了數(shù)據(jù)緩存的效率，可廣泛應用于數(shù)據(jù)緩存技術領域。

技術領域

本發(fā)明涉及數(shù)據(jù)緩存技術領域，尤其是一種數(shù)據(jù)緩存方法、裝置、設備及介質。

背景技術

隨著通信網絡的不斷發(fā)展和用戶規(guī)模的不斷擴大。往往需要較大的緩存空間作為部分臨時數(shù)據(jù)存儲區(qū)。由于內存造價成本較高，容量相對有限。在內存資源有限時需要對這段時間內海量數(shù)據(jù)緩存到磁盤中。對這類型的數(shù)據(jù)處理時，經常需要處理每秒幾百兆到幾千兆的數(shù)據(jù)。這些數(shù)據(jù)需要快速緩存到磁盤中，而磁盤設備存儲空間一般相對固定。而且網絡恢復后還需要快速讀取存儲區(qū)內容。隨著網絡迭代速度加快，如何高效快速的利用固定磁盤空間緩存數(shù)據(jù)變成很值得思考解決的問題。

發(fā)明內容

有鑒于此，本發(fā)明實施例提供一種高效的數(shù)據(jù)緩存方法、裝置、設備及介質。

本發(fā)明的第一方面提供了一種數(shù)據(jù)緩存方法，包括：

響應于空間分配請求，對固定區(qū)域磁盤空間進行預分配，確定內存塊緩沖區(qū)；

響應于數(shù)據(jù)寫入請求，將第一數(shù)據(jù)循環(huán)寫入所述內存塊緩沖區(qū)或所述磁盤；

響應于數(shù)據(jù)讀取請求，從所述內存塊緩沖區(qū)或所述磁盤中循環(huán)讀取第二數(shù)據(jù)。

可選地，所述響應于空間分配請求，對固定區(qū)域磁盤空間進行預分配，確定內存塊緩沖區(qū)，包括：

輸入設置參數(shù)路徑創(chuàng)建目錄和緩存文件；

根據(jù)預設值創(chuàng)建預設大小的磁盤文件,作為高速緩存的存儲區(qū)；

通過open64函數(shù)接口創(chuàng)建文件寫描述符和讀描述符；

創(chuàng)建內存寫緩沖區(qū)和內存讀緩沖區(qū)。

可選地，所述創(chuàng)建內存寫緩沖區(qū)和內存讀緩沖區(qū)，包括：

調用getpagesize函數(shù)獲取內存頁大小；

通過posix_memalign函數(shù)對內存寫緩沖區(qū)和內存讀緩沖區(qū)進行對齊；

配置所述內存寫緩沖區(qū)的文件寫偏移位置；

配置所述內存讀緩沖區(qū)的文件讀偏移位置。

可選地，所述響應于數(shù)據(jù)寫入請求，將第一數(shù)據(jù)循環(huán)寫入所述內存塊緩沖區(qū)或所述磁盤，包括：

根據(jù)所述數(shù)據(jù)寫入請求，根據(jù)所述第一數(shù)據(jù)構建內置存儲結構作為寫入請求數(shù)據(jù)塊；

對于同一循環(huán)內的數(shù)據(jù)寫入，則判斷寫入數(shù)據(jù)塊總長度與文件寫偏移位置的和是否小于總的存儲空間大小，若是，則調用磁盤存儲控制模塊-寫入請求處理單元，寫入請求數(shù)據(jù)塊；反之，則調用磁盤存儲控制模塊-刷寫內存緩存處理單元，同步磁盤寫入數(shù)據(jù)。

可選地，所述響應于數(shù)據(jù)寫入請求，將第一數(shù)據(jù)循環(huán)寫入所述內存塊緩沖區(qū)或所述磁盤，還包括：

對于非同一循環(huán)內的數(shù)據(jù)寫入，判斷寫入數(shù)據(jù)塊總長度與文件寫偏移位置之和是否小于文件讀偏移位置，若是則用磁盤存儲控制模塊-寫入請求處理單元，寫入請求數(shù)據(jù)塊。

可選地，所述響應于數(shù)據(jù)讀取請求，從所述內存塊緩沖區(qū)或所述磁盤中循環(huán)讀取第二數(shù)據(jù)，包括：

根據(jù)所述數(shù)據(jù)讀取請求，判斷是否有待讀取的第二數(shù)據(jù)，若是，則執(zhí)行下一步驟；

向內存中寫入緩存數(shù)據(jù)；

讀取所述緩存數(shù)據(jù)。