[發明專利]一種基于大數據平臺的分布式存儲方法及系統

有效

• 申請號: 202210046521.5
• 申請日: 2022-01-17
• 公開（公告）號: CN114064616B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 侯寶元
• 申請（專利權）人: 睿至科技集團有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23
• 代理公司: 北京卓特專利代理事務所(普通合伙) 11572
• 代理人: 段旺

1.一種基于大數據平臺的分布式存儲方法，其特征在于，具體包括以下步驟：

獲取存儲數據請求；

確定存儲節點集合，將獲取的存儲數據請求對應的數據存儲在存儲節點集合的存儲節點中；

響應于將數據存儲在存儲節點集合中，初始選取簇節點；

響應于完成簇節點的初始選取，根據簇節點進行首次數據遷移；

響應于簇節點完成首次數據遷移，更新簇節點；

響應于完成指定次數的簇節點的更新，確定簇節點集合，根據簇節點集合執行每次數據的存儲遷移；

其中確定存儲節點集合，將獲取的存儲數據請求對應的數據存儲在存儲節點集合的存儲節點中，具體包括以下子步驟：

確定存儲區域；

根據存儲區域構建初始存儲節點集合；

對初始存儲節點集合進行更新；

其中存儲節點集合中節點的節點性能Q具體表示為：

其中，表示收集的節點v的傳輸半徑，M表示收集的節點的數量，表示收集節點后，更新的存儲節點集合中的節點V的網絡傳輸延遲，表示收集節點后，更新的存儲節點集合中的節點V的傳輸半徑，表示更新的存儲節點集合中的節點V到存儲區域邊界U的距離，L表示更新的存儲節點集合中的節點數量；

若存儲節點集合中節點的節點性能Q值大于指定閾值，則更新后的存儲節點集合中的節點為存儲節點，完成存儲節點集合的更新；

響應于完成存儲節點集合的更新，將數據存儲在存儲節點中。

2.如權利要求1所述的基于大數據平臺的分布式存儲方法，其特征在于，預先設置多個存儲數據的節點，選擇一個節點作為接收數據的源節點。

3.如權利要求1所述的基于大數據平臺的分布式存儲方法，其特征在于，以源節點為中心，以源節點的傳輸距離為半徑畫弧，該區域內的范圍即為存儲區域。

4.如權利要求3所述的基于大數據平臺的分布式存儲方法，其特征在于，初始存儲節點集合包括，源節點以及距離源節點l跳的相鄰節點。

5.如權利要求4所述的基于大數據平臺的分布式存儲方法，其特征在于，響應于完成初始存儲節點集合的構建，逐一收集距離源節點2跳的節點，直至存儲節點集合的節點性能大于指定閾值。

6.如權利要求5所述的基于大數據平臺的分布式存儲方法，其特征在于，若節點性能大于指定閾值，更新后的存儲節點集合中的節點為存儲節點，將源節點接收的存儲請求對應的數據存儲在一個或多個存儲節點中。

7.如權利要求6所述的基于大數據平臺的分布式存儲方法，其特征在于，響應于將數據存儲在存儲節點集合中，初始選取簇節點具體包括以下子步驟：

確定存儲網格中單元格的邊長，根據單元格的邊長構建存儲網格；

在存儲網格中進行簇節點的選取；

響應于選取簇節點后，存儲節點將存儲的數據轉發至簇節點。

8.如權利要求7所述的基于大數據平臺的分布式存儲方法，其特征在于，設任意兩個存儲節點間的最大通信距離為R，單元格邊長是r，則單元格邊長需滿足。

9.一種基于大數據平臺的分布式存儲系統，其特征在于，具體包括：獲取單元、存儲單元、初始選取單元、遷移單元、更新單元以及執行單元；

獲取單元，用于獲取源數據；

存儲單元，用于確定存儲節點集合，將獲取的存儲數據請求對應的數據存儲在存儲節點集合的存儲節點中；

初始選取單元，用于響應于將獲取的存儲數據請求存儲在存儲節點集合中，初始選取簇節點；

遷移單元，用于響應于完成簇節點的選取，根據簇節點進行數據遷移；

更新單元，用于響應于簇節點完成數據遷移，更新簇節點；

執行單元，用于響應于完成指定次數的簇節點的更新，確定簇節點集合，根據簇節點集合執行每次數據遷移；

存儲單元中，包括以下子步驟：

確定存儲區域；

根據存儲區域構建初始存儲節點集合；

對初始存儲節點集合進行更新；

其中存儲節點集合中節點的節點性能Q具體表示為：

其中，表示收集的節點v的傳輸半徑，M表示收集的節點的數量，表示收集節點后，更新的存儲節點集合中的節點V的網絡傳輸延遲，表示收集節點后，更新的存儲節點集合中的節點V的傳輸半徑，表示更新的存儲節點集合中的節點V到存儲區域邊界U的距離，L表示更新的存儲節點集合中的節點數量；

若存儲節點集合中節點的節點性能Q值大于指定閾值，則更新后的存儲節點集合中的節點為存儲節點，完成存儲節點集合的更新；

響應于完成存儲節點集合的更新，將數據存儲在存儲節點中。