[發明專利]一種分布式存儲內存管理方法、系統及計算機存儲介質

有效

• 申請號: 201710480382.6
• 申請日: 2017-06-22
• 公開（公告）號: CN107329695B
• 公開（公告）日: 2020-03-20
• 發明（設計）人: 江汛洋;梁松濤;李道兵;許式偉
• 申請（專利權）人: 上海七牛信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 郭桂峰

本發明公開一種分布式存儲內存管理方法、系統及計算機存儲介質，該方法包括：將內存管理模塊分成多種大小不同的數據塊類型；在第一節點寫入文件，并對所述文件設置租約，使所述文件與第一節點綁定；在內存中，將文件對應一種數據塊類型，并將文件在內存中分成一個或多個大小相同的數據塊，同時生成數據塊的訪問上下文，所述訪問上下文包括數據塊導引和所屬文件編碼；將所述數據塊和訪問上下文存儲在第一節點并更新版本；當在第二節點寫入文件，所述文件的租約已被第一節點持有，則所述第一節點接收從第二節點轉發的文件，并將所述文件寫入第一節點的本地存儲并更新版本。數據的寫入是基于數據塊的操作，使分布式存儲中，文件能夠支持隨機寫。

技術領域

本發明涉及存儲技術領域，更具體的說，涉及一種分布式存儲內存管理方法、系統及計算機存儲介質。

背景技術

分布式存儲系統，是將數據分散存儲在多臺獨立的設備上。傳統的網絡存儲系統采用集中的存儲服務器存放所有數據，存儲服務器成為系統性能的瓶頸，也是可靠性和安全性的焦點，不能滿足大規模存儲應用的需要。分布式網絡存儲系統采用可擴展的系統結構，利用多臺存儲服務器分擔存儲負荷，利用位置服務器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易于擴展。

分布式存儲系統中的，現有的內存管理方法對多臺機器對文件進行讀寫操作無法高效的完成。

發明內容

本發明所要解決的技術問題是提供一種高效的分布式存儲內存管理方法、系統及計算機存儲介質。

本發明的目的是通過以下技術方案來實現的：

一種分布式存儲內存管理方法，包括：

將內存管理模塊分成多種大小不同的數據塊類型；

在第一節點寫入文件，并對所述文件設置租約，使所述文件與第一節點綁定；

在內存中，將文件對應一種數據塊類型，并將文件在內存中分成一個或多個大小相同的數據塊，同時生成數據塊的訪問上下文，所述訪問上下文包括數據塊導引和所屬文件編碼；

將所述數據塊和訪問上下文存儲在第一節點并更新版本；

當在第二節點寫入文件，所述文件的租約已被第一節點持有，則所述第一節點接收從第二節點轉發的文件，并將所述文件寫入第一節點的本地存儲并更新版本。

進一步的，還包括：

在第一節點分別從一個或多個數據塊中讀取數據；

如果數據在第一節點則直接讀取；

如果數據在第二節點則向第二節點請求數據，請求數據后將數據緩存到第一節點并更新版本。

進一步的，所述請求數據后將數據緩存到第一節點并更新版本還包括：

請求數據后判斷數據本地存儲版本與全局版本；

如果數據版本為最新的版本則直接加載；

如果數據版本低于全局版本，則請求最新版本的數據，請求最新版本的數據后將數據緩存到第一節點。

進一步的，還包括：內存管理模塊中設置工作數據塊鏈和空閑數據塊鏈；

對數據塊進行操作，并將數據塊根據狀態插入工作數據塊鏈或空閑數據塊鏈；

將工作數據塊鏈中的數據塊釋放后插入空閑數據塊鏈；

從空閑數據塊鏈中取出一個數據塊放入工作數據塊鏈。

進一步的，還包括：

按預設周期且按預設比例釋放空閑數據塊鏈中的數據塊。

進一步的，所述對數據塊進行操作包括：