[發明專利]基于海量存儲的新型文件存儲系統和方法

在審

• 申請號: 201910970109.0
• 申請日: 2019-10-12
• 公開（公告）號: CN110928835A
• 公開（公告）日: 2020-03-27
• 發明（設計）人: 楊先放
• 申請（專利權）人: 虜克電梯有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/13;G06F16/14
• 代理公司: 杭州天昊專利代理事務所(特殊普通合伙) 33283
• 代理人: 董世博

1.一種基于海量存儲的新型文件存儲系統，其特征在于：包含master組件和store節點，所述store節點存儲在所述master組件中；

master組件負責管理集群的元數據，包括集群中存在的store節點以及每個store節點的狀態信息，store節點負責存儲具體的數據；

store節點周期性的向master組件匯報自身的狀態信息，而master組件則實時的向其他store節點通知某個store節點的狀態變更信息，確保所有的master組件和store節點都有統一的集群元數據信息；

每個store存儲節劃分為多個bucket，每個bucket直接對應為當前節點的一個目錄，數據實際存儲到對應的bucket中；

設定文件存儲機制，該文件存儲機制為，設置判定文件大小的閾值，設定參考值size1，大于等于size1的文件為大文件，小于size1的文件為小文件；

大文件和小文件均存儲在其bucket中，

對于小文件，在每個bucket下設置有一個聚合文件，所有小文件都合并存儲到聚合文件里面；

對于大文件，單獨存放在bucket下獨立的文件中。

2.一種用于權利要求1所述高性能海量文件存儲系統的工作方法，其特征在于：

包括內存索引流程，該內存索引為：

S21：針對每個bucket下的小文件，在內存中為其建立一個索引，索引內容為文件名到文件系統元數據的映射；

S22：每次store重啟時，根據聚合文件中的信息重建內存索引。

3.根據權利要求2所述一種基于海量存儲的新型文件存儲系統工作方法，其特征在于：包括文件上傳流程，該文件上傳流程為：

S31：用戶請求上傳文件時，找到文件的存儲位置，假設為bucket1，并將請求發送給對應的store節點；

S32：將上傳文件的大小與參考值size1進行比較，如果上傳文件大于參考值size1，上傳文件為大文件，進入步驟S3，否則，上傳文件為小文件，進入步驟S4；

S33：直接在bucket1下存儲為同名文件；

S34：采用合并存儲的方式，對接收到的小文件內容按照自定義的格式進行封裝；

封裝信息包括其原始內容、長度、狀態、文件名，這里將封裝后的內容叫做needle，然后將needle整體追加到相應的聚合文件中，同時在內存中按照內存索引流程為其新增索引。

4.根據權利要求2所述一種基于海量存儲的新型文件存儲系統工作方法，其特征在于：包括刪除文件流程，該刪除文件流程為：

S41：找到需要刪除文件的位置并將刪除請求發給相應store節點；

S42：store節點首先在其所在的bucket的內存索引中尋找對應的文件，判斷是否有需要刪除文件的內存索引，如果有，則判斷為小文件，進入步驟S3，否則，判斷為大文件，進入步驟S4；

S43：對小文件進行刪除，操作為將內存索引映射和聚合文件中相應的狀態標志設置為已刪除，該刪除為軟刪除機制，此刻不會刪除needle的磁盤數據；

S44：直接刪除對應的大文件。

5.根據權利要求2所述一種基于海量存儲的新型文件存儲系統工作方法，其特征在于：

包括讀文件工作流程，讀文件的工作流程為：

S51：store節點接收到讀請求，利用內存中索引快速的查找相關的元數據，判斷文件是否找到，如果在內存索引中找到，且文件沒有被刪除，則進入步驟S2，否則，進入步驟S3；

S52：store節點則在聚合文件中查詢到相應的偏移量，從磁盤上讀取數據；

S53：考慮為大文件，嘗試讀取對應的大文件，判斷是否找到大文件，如果是，則進入步驟S4，否則，進入步驟S5；

S54：并將內容返回給用戶；

S55：如果本地大文件也沒有找到，則說明用戶請求了一個不存在的文件，返回錯誤信息。