[發明專利]一種分布式存儲方法及裝置

在審

• 申請號: 202111448843.4
• 申請日: 2021-11-30
• 公開（公告）號: CN114237497A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 楊勝智
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 李娜

本申請提供了一種分布式存儲方法及裝置，包括：在接收到目標數據的情況下，將目標數據存儲在主節點本地，并將目標數據發送至一類從節點，以使一類從節點對目標數據進行冗余備份；確定二類從節點對應的第一數據偏移量；其中，第一數據偏移量用于指示目標數據在二類從節點中存儲條目的變化量；向二類從節點發送第一數據偏移量，以使得二類從節點存儲第一數據偏移量。可以在基于一致性協議構建的分布式存儲集群中包含一個二類從節點，并使二類從節點僅對數據偏移量進行存儲，在確保滿足一致性協議節點數量要求的情況下，降低了數據同步存儲所需的帶寬和存儲資源消耗量，解決了使用一致性協議構建的分布式存儲集群占用帶寬和存儲資源過高的問題。

技術領域

本申請實施例涉及計算機技術領域，尤其涉及一種分布式存儲方法、裝置、電子設備、計算機可讀存儲介質及計算機程序產品。

背景技術

隨著計算機技術的不斷發展，為了在提升數據安全，人們越來越多的采用分布式存儲集群對數據進行備份存儲，同時，為了保證分布式存儲集群中各個節點數據的一致性，通常會采用一致性協議構建分布式存儲集群。

相關技術中，基于一致性協議建立分布式存儲集群至少需要大于等于三個的奇數個節點同時備份數據副本，因此，對于某些對數據冗余量要求不高，但需要備份的數據量較大的業務來說，備份過多數據副本的方案性價比較低。例如在雙副本備份方案中，通常只能采用同步寫入兩個副本和串行寫入兩個副本內容的方式實現雙副本備份，無法使用一致性協議，難以保證兩個存儲節點中備份數據的一致性。

發明內容

本申請實施例提供一種分布式存儲方法、裝置、電子設備、計算機可讀存儲介質及計算機程序產品，以解決相關技術中采用一致性協議建立的分布式存儲集群對帶寬和存儲資源占用量較高的問題。

第一方面，本申請實施例提供了一種分布式存儲方法，應用于分布式存儲集群中的主節點，所述分布式存儲集群基于一致性協議構建，所述分布式存儲集群還包括一類從節點和二類從節點，該方法包括：

在接收到目標數據的情況下，將所述目標數據存儲在主節點本地，并將所述目標數據發送至所述一類從節點，以使所述一類從節點對所述目標數據進行冗余備份；

確定所述二類從節點對應的第一數據偏移量；其中，所述第一數據偏移量用于指示目標數據在所述二類從節點中存儲條目的變化量；

向所述二類從節點發送所述第一數據偏移量，以使得所述二類從節點存儲所述第一數據偏移量。

在一種可選的實施方式中，所述向所述二類從節點發送所述第一數據偏移量，包括：

根據所述目標數據和所述第一數據偏移量生成第一數據包；

清空所述第一數據包中的所述目標數據，得到第二數據包；

將所述第二數據包發送至所述二類從節點，以使得所述二類從節點存儲所述第一數據偏移量。

在一種可選的實施方式中，所述向所述二類從節點發送所述第一數據偏移量，包括：

確定所述目標數據的數據類型，所述數據類型包括配置變更數據和非配置變更數據；其中，所述配置變更數據用于調整所述分布式存儲集群的設置；

在所述目標數據的數據類型為所述非配置變更數據的情況下，向所述二類從節點發送所述第一數據偏移量；

在所述目標數據的數據類型為所述配置變更數據的情況下，向所述二類從節點發送所述第一數據偏移量、所述目標數據、以及所述第一數據偏移量和所述目標數據的映射關系。

在一種可選的實施方式中，所述分布式存儲方法還包括：