[發明專利]一種分布式系統的緩存優化方法、系統、設備和存儲介質

在審

• 申請號: 202110732350.7
• 申請日: 2021-06-29
• 公開（公告）號: CN113590560A
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 蘇志恒
• 申請（專利權）人: 濟南浪潮數據技術有限公司
• 主分類號: G06F16/172
• 分類號: G06F16/172;G06F16/176
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 黃曉燕

本發明提出了一種分布式系統的緩存優化方法、系統、設備和存儲介質，該方法包括運行分布式系統和客戶端，從內存中申請內存空間緩存客戶端數據，并啟動緩存管理線程管理客戶端；申請文件權限，申請成功后通過讀寫緩存的方式文件讀寫，計算讀寫范圍對應的文件對象；在文件對象加鎖成功后進行讀寫操作，操作完成后解鎖；當緩存中待下刷數據達到閾值，申請緩存全局互斥鎖，添加成功后，對文件對象加對象鎖并進行對象范圍內的數據合并；合并成功后下刷數據到存儲介質，直到下刷完成后釋放互斥鎖。基于該方法還提出了緩存優化系統、設備和存儲介質，通過把緩存中全局互斥鎖細粒度化到對象鎖，增加了對象間的并發性，提高了集群的吞吐率和讀寫性能。

技術領域

本發明屬于分布式系統存儲技術領域，特別涉及一種分布式系統的緩存優化方法、系統、設備和存儲介質。

背景技術

分布式系統中，基于內存的客戶端緩存實現緩存讀寫功能，現有技術的做法為：客戶端在啟動后從內存中分配固定大小的容量作為客戶端讀寫緩存，客戶端在讀寫文件前需要向元數據服務器申請相應的讀寫權限及讀寫緩存權限，即讀文件時申請讀權限和讀緩存權限，寫文件時申請寫權限和寫緩存權限。申請到讀寫緩存的權限后，可以把讀寫數據放入到客戶端緩存；客戶端在讀寫文件時按照文件對象切分成數個等份的大小，以增加文件的讀寫并發性；每次讀寫文件時按照讀寫的范圍計算出是哪個文件對象，在客戶端緩存中讀寫該對象，客戶端緩存為確保在多線程并發的情況下數據的有效性，增加了一個全局互斥鎖，緩存中的任何對象的讀寫都需要先獲得這把鎖，即先加鎖。

在使用寫回模式時，緩存刷新線程在寫回臟數據到存儲介質之前，也會先申請加鎖，加鎖成功后，即持有互斥鎖，這時其他文件對緩存中對象的讀寫都會因為獲取鎖失敗而阻塞，使讀寫延遲增加，限制了吞吐率；把文件切分成文件對象進行讀寫操作初衷是為增加讀寫并發性，提升讀寫性能，但緩存中的鎖機制的串行執行影響了讀寫性能，違背了切分文件對象的初衷，即使是單個文件讀寫也會受到緩存互斥鎖的影響，緩存中互斥鎖的鎖粒度過粗嚴重影響了讀寫性能和緩存吞吐率和利用率。

發明內容

為了解決上述技術問題，本發明提出了一種分布式系統的緩存優化方法、系統、設備和存儲介質，把客戶端緩存中的全局互斥鎖細粒度化到以文件對象為粒度的對象鎖，極大提高了集群的吞吐率和讀寫性能。

為實現上述目的，本發明采用以下技術方案：

一種分布式系統的緩存優化方法，包括以下步驟：

運行分布式系統和客戶端，從內存中申請內存空間緩存客戶端數據，并啟動緩存管理線程管理所述客戶端數據；

在客戶端申請文件讀寫權限和讀寫緩存權限，申請成功后通過讀寫緩存的方式進行文件讀寫，計算讀寫范圍對應的文件對象；在所述文件對象加鎖成功后進行讀寫操作，操作完成后進行解鎖；

當緩存中待下刷數據達到閾值，緩存管理線程申請緩存全局互斥鎖，互斥鎖添加成功后，對文件對象加對象鎖并進行對象范圍內的數據合并；合并成功后下刷數據到存儲介質，直到下刷完成后釋放互斥鎖。

進一步的，所述在客戶端申請文件讀寫權限和讀寫緩存權限，申請成功后通過讀寫緩存的方式進行文件讀寫的過程為：

當客戶端讀寫文件時，發送消息到元數據服務器端申請讀寫權限和讀寫緩存權限，如果申請成功，則通過讀寫緩存的方式進行文件讀寫；

如果未申請成功，則通過直讀存儲介質或直寫存儲介質的方式進行數據讀寫操作。

進一步的，所述發送消息到元數據服務器端申請讀寫權限和讀寫緩存權限包括：

在讀文件時，申請讀權限和讀緩存權限，如果申請成功，則將讀取過的數據放入緩存中增加讀性能；

在寫文件時，申請寫權限和寫緩存權限，如果申請成功，則將待寫入的數據寫入緩存。