[發明專利]一種基于CAD快速持久化的方法

有效

• 申請號: 202110301348.4
• 申請日: 2021-03-22
• 公開（公告）號: CN112925763B
• 公開（公告）日: 2022-04-08
• 發明（設計）人: 劉靖宇;李浩鵬;李娟;李蕭言;牛秋霞;武優西
• 申請（專利權）人: 河北工業大學
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/13;H04L67/01
• 代理公司: 天津翰林知識產權代理事務所(普通合伙) 12210
• 代理人: 付長杰

1.一種基于CAD快速持久化的方法，該方法包括以下步驟：

（1）確定分布式系統集群中的總節點個數N，令F=(N-1)/2，設置糾刪碼的數量為k，同時設置選擇參數x的值；用戶發出寫請求，生成對應的日志條目，并根據日志條目及負載均衡接口的性能參數得到分流日志表，該分流日志表包含節點名字段、日志條目的索引字段、片段信息字段、節點性能字段；

（2）判斷集群中Leader節點最近收到的應答節點數是否大于等于F，如果大于等于F執行步驟（3）；否則系統報錯，該集群無法保證一致性；

（3）判斷集群中Leader節點最近收到的應答節點數是否大于等于F+k；如果Leader節點最近收到的應答節點數大于等于F+k，則按照F-CAD一致性協議進行復制，直至F+1+x個節點持久化寫入全量數據，提交該日志條目，執行下一輪復制；若Leader節點最近收到的應答節點數小于F+k，則按照CAD協議對系統進行一致性復制，直至全量數據寫入至少F+1個節點，提交該日志條目，執行下一輪復制；

所述CAD為在讀時強制數據持久化，寫時按原一致性協議規則異步寫入，所述最近收到的應答節點數為距離當前時間段最后一輪遠程過程調用收到的應答節點數；

所述F-CAD一致性協議的執行過程是：

結合糾刪碼，快速單調可讀：確定當前可用節點數至少為F+k個，日志條目在寫入各個節點時會先通過糾刪碼將該日志條目均分為k個數據片段，則根據m=（當前可用節點數-k）獲得校驗片段數量m的值，再將所有片段發送給Leader節點；

然后Leader節點再將這k個數據片段和任意F個校驗片段分別持久化寫入到全部節點，數據片段通過查詢分流日志表持久化寫入節點性能字段最優的前k個節點，當全部數據片段和至少F個校驗片段持久化寫入到節點中，此時用戶便通過分別讀取已經持久化的數據節點來讀取完整數據，以達到快速單調可讀的狀態；

執行第一次分流操作：在達到單調可讀條件后，通過查詢分流日志表中的節點性能字段按照對應等級將性能較差節點的數據片段持久化寫入到性能較優的節點中，實現分流的效果；

執行第二次分流操作，部分節點做數據補全操作：選擇參數為整數，且0≤x≤F，以供用戶在節能和高性能之間進行選擇，Leader節點首先查詢用戶設置的x值，根據x值選擇后續的數據補全方案，Leader節點查詢分流日志表中前F+1+x個節點的片段信息字段的信息，根據片段信息字段提供的已經持久化寫入的數據片段編號，得出尚未寫入的數據片段，然后將未寫入的數據片段繼續持久化寫入性能較優的前F+1+x個節點成為完整的數據；

而對剩余的F-x節點不選擇繼續寫入，始終會以第一次分流后的相應片段保留在相應節點之中；

所述第一次分流的過程是：系統需要訪問分流日志表中各個節點的片段信息字段，直到逆序訪問完分流日志表中性能較差的F個節點，各個節點按照性能最優節點對應性能最差節點、次優節點對應次差節點的方式進行配對分成不同的等級，將同一個等級中性能較差節點的數據片段全部持久化寫入到對應等級性能較優節點中，如果某一等級性能較差節點的片段信息為校驗片段，則對應等級的性能較優節點需要按初始分片順序在自己已寫入片段的基礎上持久化寫入一個尚未寫入的首片段；未配對的單節點按初始分片順序在自己已寫入片段的基礎上持久化寫入一個尚未寫入的首片段。

2.根據權利要求1所述的基于CAD快速持久化的方法，其特征在于，第二次分流操作的過程是：用戶需事先給定整型選擇參數x一個確切的值，且0≤x≤F，以供用戶在節能和高性能之間進行選擇，Leader節點首先查詢用戶設置的x值，根據x值選擇后續的數據補全方案；Leader節點查詢分流日志表中前F+1+x個節點的片段信息字段的信息，根據片段信息字段提供的已經持久化寫入的數據片段編號，得出尚未寫入的數據片段，然后將未寫入的數據片段繼續持久化寫入到性能較優的前F+1+x個節點組成完整數據，進一步進行分流，以提高性能。

3.一種分布式系統，其特征在于，分布式系統使用權利要求1或2所述的基于CAD快速持久化的方法。