[發明專利]一種計算機分布式存儲系統

有效

• 申請號: 202011077396.1
• 申請日: 2020-10-10
• 公開（公告）號: CN112202910B
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 吳佳;李禮;苗詩君
• 申請（專利權）人: 上海威固信息技術股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種計算機分布式存儲系統，其特征在于，包括：

獲取模塊，用于接收用戶終端發送的數據寫入請求命令，確定待寫入數據；

發送模塊，用于發送所述待寫入數據的分塊命令；

數據分塊模塊，用于接收所述分塊命令，將所述待寫入數據進行分塊，形成數據塊集合；

控制模塊，用于在待寫入數據分塊后，生成數據寫入命令，并通過預設的控制節點將所述寫入命令發送至對應的數據節點；

數據模塊，用于通過預設的數據節點接收所述寫入命令，并根據所述寫入命令，將所述數據塊寫入數據節點；

重復寫入模塊，用于在所述數據塊寫入失敗時，確定寫入失敗因素，并基于所述寫入失敗因素，重新將所述數據塊寫入數據節點；

替換模塊，用于在所述數據塊寫入數據節點后，判斷是否存在非正常讀寫數據，并在具有非正常讀寫數據時，基于預設的替換策略，對所述非正常讀寫數據進行替換；

讀取模塊，用于在接收到用戶的讀取指令時，確定需要讀取的數據信息，讀取相應數據節點中的數據塊；

所述數據模塊包括：

對比單元，用于將所述數據塊與存儲在所述數據節點中的預存數據塊進行比較，判斷所述數據塊與存儲在所述數據節點中的預存數據塊是否相同；

執行單元，用于在所述數據塊與所述數據節點中預存數據塊相同時，控制所述預設的數據節點不接收所述控制模塊的寫入命令，還用于在所述數據塊與所述數據節點中預存數據塊不相同時，所述預設的數據節點接收所述控制模塊的寫入命令；

所述數據分塊模塊將所述待寫入數據進行分塊，形成數據塊集合包括以下步驟：

步驟1：獲取所述待寫入數據，確定所述待寫入數據的類型，并確定所述待寫入數據的數據特征S:

其中，所述w_i表示第i類待寫入數據的數據特征；所述i＝1，2，3……m，共有m類數據；所述β為待寫入數據的數據儲存系數；

步驟2：根據所述待寫入數據的數據特征，確定每類待寫入數據權重值：

其中，所述P_i表示第i類待寫入數據的權重值；所述y_i表示第i類待寫入數據的儲存量；所述y_max表示所述待寫入數據最大儲存量；所述y_min表示所述待寫入數據最小儲存量；

步驟3：根據所述待寫入數據權重值，將每類待寫入數據代入下式進行劃分：

其中，所述表示待寫入數據的數據特征的均值；所述表示待寫入數據的存儲量的均值；所述F表示劃分所述數據塊的閾值儲存量；當k≥1時，將所述待寫入數據通過所述閾值儲存量進行劃分，生成多個數據塊的集合；當k＜1時，直接生成獨立數據塊。

2.根據權利要求1所述的一種計算機分布式存儲系統，其特征在于，所述數據分塊模塊包括：

識別單元，用于將所述待寫入數據的通過預設的閾值存儲量劃分為大型數據和小型數據；其中，

所述大型數據為大于等于閾值存儲量的數據；

所述小型數據為小于閾值存儲量的數據；

第一分塊單元，用于將所述大型數據進行分塊，獲得數據組；其中，

所述分塊后的數據組大于1；

第二分塊單元，用于將所述小型數據劃分為獨立數據塊；

集合模塊：用于通過所述獨立數據塊和數據組生成數據塊集合。

3.根據權利要求1所述的一種計算機分布式存儲系統，其特征在于，所述重復寫入模塊包括：

檢測單元，用于通過讀寫數據節點來檢測所述數據節點是否正常讀寫數據；

修復單元，用于通過冗余節點的數據修復所述數據節點；

發送單元，用于發送所述數據塊重新寫入到所述預設的數據節點的命令。