[發明專利]一種基于大數據平臺的分布式存儲方法及系統

有效

• 申請號: 202210046521.5
• 申請日: 2022-01-17
• 公開（公告）號: CN114064616B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 侯寶元
• 申請（專利權）人: 睿至科技集團有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23
• 代理公司: 北京卓特專利代理事務所(普通合伙) 11572
• 代理人: 段旺

本申請公開了一種基于大數據平臺的分布式存儲方法及系統，其中基于大數據平臺的分布式存儲方法，具體包括以下步驟：獲取存儲數據請求；確定存儲節點集合，將獲取的存儲數據請求對應的數據存儲在存儲節點集合的存儲節點中；響應于將數據存儲在存儲節點集合中，初始選取簇節點；響應于完成簇節點的初始選取，根據簇節點進行首次數據遷移；響應于簇節點完成首次數據遷移，更新簇節點；響應于完成指定次數的簇節點的更新，確定簇節點集合，根據簇節點集合執行每次數據的存儲遷移。本申請能夠對數據進行存儲后，在指定時間段內進行數據的存儲遷移，避免因節點異常而導致存儲異常，使得數據的存儲更加安全。

技術領域

本申請涉及數據處理領域，具體地，涉及一種基于大數據平臺的分布式存儲方法及系統。

背景技術

隨著信息科學技術的不斷發展，大數據平臺的使用已越來越頻繁，大數據平臺具有數據傳輸和存儲等十分強大的功能，但是在基于大數據平臺的數據存儲過程中，數據的存儲依然很耗時，而且在數據的存儲過程中，數據常常會由存儲異常的風險，常見的解決方式是對數據在存儲傳輸的過程中進行加密，但是僅僅加密并不能保證數據的完全安全，數據的存儲依然存在安全隱患。

因此，如何提供一種能夠解決數據存儲安全隱患的分布式存儲方法及系統，是本領域技術人員急需解決的問題。

發明內容

本申請提供了一種基于大數據平臺的分布式存儲方法，具體包括以下步驟：獲取存儲數據請求；確定存儲節點集合，將獲取的存儲數據請求對應的數據存儲在存儲節點集合的存儲節點中；響應于將數據存儲在存儲節點集合中，初始選取簇節點；響應于完成簇節點的初始選取，根據簇節點進行首次數據遷移；響應于簇節點完成首次數據遷移，更新簇節點；響應于完成指定次數的簇節點的更新，確定簇節點集合，根據簇節點集合執行每次數據的存儲遷移。

如上的，其中，預先設置多個存儲數據的節點，選擇一個節點作為接收數據的源節點。

如上的，其中，確定存儲節點集合，將獲取的存儲數據請求對應的數據存儲在存儲節點集合的存儲節點中，具體包括以下子步驟：確定存儲區域；根據存儲區域構建初始存儲節點集合；對初始存儲節點集合進行更新；響應于完成存儲節點集合的更新，源節點接收存儲請求，進行數據的存儲。

如上的，其中，以源節點為中心，以源節點的傳輸距離為半徑畫弧，該區域內的范圍即為存儲區域。

如上的，其中，初始存儲節點集合包括，源節點以及距離源節點l跳的相鄰節點。

如上的，其中，響應于完成初始存儲節點集合的構建，逐一收集距離源節點2跳的節點，直至存儲節點集合的節點性能大于指定閾值。

如上的，其中，若節點性能大于指定閾值，更新后的存儲節點集合中的節點為存儲節點，將源節點接收的存儲請求對應的數據存儲在一個或多個存儲節點中。

如上的，其中，響應于將數據存儲在存儲節點集合中，初始選取簇節點具體包括以下子步驟：確定存儲網格中單元格的邊長，根據單元格的邊長構建存儲網格；在存儲網格中進行簇節點的選??；響應于選取簇節點后，存儲節點將存儲的數據轉發至簇節點。

如上的，其中，設任意兩個存儲節點間的最大通信距離為R，單元格邊長是r，則單元格邊長需滿足。

一種基于大數據平臺的分布式存儲系統，具體包括：獲取單元、存儲單元、初始選取單元、遷移單元、更新單元以及執行單元；獲取單元，用于獲取源數據；存儲單元，用于確定存儲節點集合，將獲取的存儲數據請求對應的數據存儲在存儲節點集合的存儲節點中；初始選取單元，用于響應于將獲取的存儲數據請求存儲在存儲節點集合中，初始選取簇節點；遷移單元，用于響應于完成簇節點的選取，根據簇節點進行數據遷移；更新單元，用于響應于簇節點完成數據遷移，更新簇節點；執行單元，用于響應于完成指定次數簇節點的更新，確定簇節點集合，根據此節點集合執行每次數據遷移。

本申請具有以下有益效果：