[發明專利]一種分布式系統的緩存優化方法、系統、設備和存儲介質

在審

• 申請號: 202110732350.7
• 申請日: 2021-06-29
• 公開（公告）號: CN113590560A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 蘇志恒
• 申請（專利權）人: 濟南浪潮數據技術有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/176
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 黃曉燕

1.一種分布式系統的緩存優化方法，其特征在于，包括以下步驟：

運行分布式系統和客戶端，從內存中申請內存空間緩存客戶端數據，并啟動緩存管理線程管理所述客戶端數據；

在客戶端申請文件讀寫權限和讀寫緩存權限，申請成功后通過讀寫緩存的方式進行文件讀寫，計算讀寫范圍對應的文件對象；在所述文件對象加鎖成功后進行讀寫操作，操作完成后進行解鎖；

當緩存中待下刷數據達到閾值，緩存管理線程申請緩存全局互斥鎖，互斥鎖添加成功后，對文件對象加對象鎖并進行對象范圍內的數據合并；合并成功后下刷數據到存儲介質，直到下刷完成后釋放互斥鎖。

2.根據權利要求1所述的一種分布式系統的緩存優化方法，其特征在于，所述在客戶端申請文件讀寫權限和讀寫緩存權限，申請成功后通過讀寫緩存的方式進行文件讀寫的過程為：

當客戶端讀寫文件時，發送消息到元數據服務器端申請讀寫權限和讀寫緩存權限，如果申請成功，則通過讀寫緩存的方式進行文件讀寫；

如果未申請成功，則通過直讀存儲介質或直寫存儲介質的方式進行數據讀寫操作。

3.根據權利要求2所述的一種分布式系統的緩存優化方法，其特征在于，所述發送消息到元數據服務器端申請讀寫權限和讀寫緩存權限包括：

在讀文件時，申請讀權限和讀緩存權限，如果申請成功，則將讀取過的數據放入緩存中增加讀性能；

在寫文件時，申請寫權限和寫緩存權限，如果申請成功，則將待寫入的數據寫入緩存。

4.根據權利要求1所述的一種分布式系統的緩存優化方法，其特征在于，所述計算讀寫范圍對應的文件對象的過程為：按照讀寫的起始位置和數據長度通過算法計算出該范圍對應的文件對象。

5.根據權利要求1所述的一種分布式系統的緩存優化方法，其特征在于，所述在所述文件對象加鎖成功后進行操作，操作完成后進行解鎖的過程為：

對所述文件對象申請加鎖，如果其他線程持有所述文件對象的鎖，則等待；

在加鎖成功后，增加所述文件對象的讀寫緩存權限的引用計數，在所述引用計數增加成功后，對所述文件對象進行讀寫操作，操作完成后，對所述文件對象進行解鎖；

其他持有所述所述文件對象鎖的線程申請到鎖之后進行讀寫操作。

6.根據權利要求1所述的一種分布式系統的緩存優化方法，其特征在于，所述當緩存中待下刷數據達到閾值包括：當緩存中的待下刷數據達到緩存總量的一半或者存留在緩存中的時間超過時間閾值。

7.根據權利要求6所述的一種分布式系統的緩存優化方法，其特征在于，所述合并成功后下刷數據到存儲介質，直到下刷完成后釋放互斥鎖包括：合并成功后下刷數據到存儲介質，數據下刷成功后釋放對象鎖并對所述文件對象讀寫緩存權限的引用計數進行減一操作，直至緩存中所有要下刷的文件對象數據下刷到存儲介質完成后釋放全局互斥鎖。

8.一種分布式系統的緩存優化系統，其特征在于，包括預備模塊、第一操作模塊和第二操作模塊；

所述預備模塊用于運行分布式系統和客戶端，從內存中申請內存空間緩存客戶端數據，并啟動緩存管理線程管理所述客戶端數據；

所述第一操作模塊用于在客戶端申請文件讀寫權限和讀寫緩存權限，申請成功后通過讀寫緩存的方式進行文件讀寫，計算讀寫范圍對應的文件對象；在所述文件對象加鎖成功后進行讀寫操作，操作完成后進行解鎖；

所述第二操作模塊用于當緩存中待下刷數據達到閾值，緩存管理線程申請緩存全局互斥鎖，互斥鎖添加成功后，對文件對象加對象鎖并進行對象范圍內的數據合并；合并成功后下刷數據到存儲介質，直到下刷完成后釋放互斥鎖。

9.一種設備，其特征在于，包括：

存儲器，用于存儲計算機程序；

處理器，用于執行所述計算機程序時實現如權利要求1至7任意一項所述的方法步驟。

10.一種可讀存儲介質，其特征在于，所述可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時實現如權利要求1至7任意一項所述的方法步驟。