[發明專利]一種存儲集群中分級緩存讀寫數據的方法

有效

• 申請號: 202110054050.8
• 申請日: 2021-01-15
• 公開（公告）號: CN112685337B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 齊光鵬;竇洋;張明哲
• 申請（專利權）人: 浪潮云信息技術股份公司
• 主分類號: G06F12/0897
• 分類號: G06F12/0897
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 馮春連

本發明公開一種存儲集群中分級緩存讀寫數據的方法，涉及云計算技術領域，其實現基于后端存儲集群、第一級緩存、第二級緩存、api網關、日志文件系統和應用程序，后端存儲集群管理原始數據，第一級緩存存儲熱點數據，并將熱點數據劃分為不同的pool，第二級緩存將pool數據按照索引抽成段后保存，api網關統一處理請求。應用程序發起讀請求時，api網關處理請求并發布到第二級緩存中，第二級緩存查找相關段并定位到pool，或者，沒有找到相關段，進一步向第一級緩存發起缺段請求，仍無法找到相關信息后，繼續到后端存儲集群查找；應用程序發起寫請求時，api網關處理請求并寫入日志文件系統，等事務完成時再Flush進后端存儲集群。本發明能夠大幅降低延時。

技術領域

本發明涉及云計算存儲技術領域，具體的說是一種存儲集群中分級緩存讀寫數據的方法。

背景技術

在云計算環境中，通常存儲集群會為計算集群和控制節點提供所有的存儲服務，這些存儲集群中的數據有時候會非常無序且海量，當管理或租戶側程序發起數據請求時(如創建指定鏡像規格的虛擬機或者調取指定節點的監控數據抑或請求文件流服務)，每次都會與后端主存儲節點交互，后端主存儲節點通常采用SATA Cluster，在高并發I/O情況下，這些SATA Cluster在讀寫速度并不高，會影響整個云管理操作的性能。

發明內容

本發明針對目前技術發展的需求和不足之處，提供一種存儲集群中分級緩存讀寫數據的方法，以大幅降低延時，提升云管理的性能體驗。

本發明的一種存儲集群中分級緩存讀寫數據的方法，解決上述技術問題采用的技術方案如下：

一種存儲集群中分級緩存讀寫數據的方法，其實現基于后端存儲集群、第一級緩存、第二級緩存、api網關、日志文件系統和應用程序，其中：

后端存儲集群管理原始數據，

第一級緩存存儲動態變化的熱點數據，并依據進程的pid和業務屬性將熱點數據劃分為不同的pool，pool內以對象為單位存儲，

第二級緩存將第一級緩存的pool數據按照索引抽成段Segment，進而以段Segment的形式保存，

api網關作為所有請求的流量入口，統一處理請求、合并相同的請求數據，

日志文件系統存儲寫請求發生時的數據；

在應用程序發起讀請求時，api網關統一處理收到的請求并發布到第二級緩存中，第二級緩存根據請求查找段Segment，找到相關段Segment后，定位到第一級緩存的pool，或者，沒有找到相關段Segment，進一步向第一級緩存發起缺段請求，在第一級緩存中仍無法找到相關信息后，繼續到后端存儲集群查找；

在應用程序發起寫請求時，api網關統一處理收到的請求并采用WAL方式寫入日志文件系統，等事務完成時再Flush進后端存儲集群。

進一步的，所涉及第一級緩存中定義有第一后臺線程，在pool的存儲空間不夠時，第一后臺線程選擇pool內的臟對象并刷到后端存儲集群，或者/同時，第一后臺線程剔除第一級緩存的clean對象，以釋放更多的存儲空間。

進一步的，所涉及第二級緩存中定義有第二后臺線程，第二后臺線程用于定時清理第二級緩存的臟數據。

進一步的，所涉及第二級緩存將pool數據按照索引抽成的段Segment只存儲pool數據的索引和地址；每個段Segment具有動態可變的長度，每個段Segment的長度基于第二級緩存的閃存空間進行自由調度。

優選的，所涉及原始數據不限于包括環境部署時初始化的數據、通過存儲介質寫入的元數據、運行過程中產生的生產數據和監控數據；

熱點數據不限于包括虛擬機鏡像相關數據、近一段時間的監控告警數據。