[發明專利]一種強一致性且高可用的分布式任務管理系統

在審

• 申請號: 201510898575.4
• 申請日: 2015-12-08
• 公開（公告）號: CN105511987A
• 公開（公告）日: 2016-04-20
• 發明（設計）人: 陳智
• 申請（專利權）人: 上海愛數信息技術股份有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

技術領域

本發明涉及分布式數據庫系統領域，尤其是涉及一種強一致性且高可用的分 布式任務管理系統。

背景技術

在信息技術和數據管理領域，備份技術是一種重要的技術手段，用來解決生產 服務器系統及之上的應用出現故障等情況下恢復其可用性。隨著數據信息呈爆炸式 地增長，單節點的備份存儲、柜式的備份服務器系統無法更好地解決海量數據更快 地備份與恢復的問題。因此分布式結構的備份系統便應運而生。

備份系統的分布式結構應該能夠提供7*24的高可靠且高可用性服務，然而在 多節點的集群情況下，單節點失效是無法避免的。因此，當前存在主從結構的系統 架構與多副本策略用來保證系統的高可靠性與高可用性。然而主從結構的系統架 構，主節點與從節點之間無法解決2個以上節點失效的問題，也無法提供強一致性 保證；而對于多副本策略的分布式系統，有些只能夠提供最終一致性保證如Amazon 的Dynamo，有些則需要借助于能夠提供強一致性保證的分布式文件系統，如 Google的Bigtable依靠GFS文件系統解決強一致性，這樣導致開銷比較大。

發明內容

本發明的目的就是為了克服上述現有技術存在的缺陷而提供一種開銷較小的 強一致性且高可用的分布式任務管理系統，可解決分布式數據備份系統下，備份任 務的管理信息與備份任務在分布式情況下一致性協調等問題。

本發明的目的可以通過以下技術方案來實現：

一種強一致性且高可用的分布式任務管理系統，包括通過網絡連接的Web后 端模塊和備份服務器集群，所述備份服務器集群由多個備份服務器組成，各所述備 份服務器包括依次連接的一致性模塊、日志模塊和存儲模塊，其中：

一致性模塊，通過選舉方式成為Leader角色或Follower角色，若成為Leader 角色，則接收Web后端模塊發送的日志信息并廣播，若成為Follower角色，則接 收Leader角色廣播的日志信息并響應該日志信息；

日志模塊，用于保存接收到的日志信息，并將接收到的日志信息提交到存儲模 塊。

所述一致性模塊包括：

定時器單元，用于設定一超時定時器并啟動；

選舉信息廣播單元，在所述超時定時器超時時響應，用于產生并廣播選舉為 Leader角色的信息，并接收其它一致性模塊的反饋信息，根據所述反饋信息判斷是 否成功成為Leader角色；

日志廣播單元，在選舉信息廣播單元的判斷結果為是時響應，用于廣播Web 后端模塊發送的日志信息；

信息反饋單元，用于在收到其它一致性模塊廣播的信息后進行相應反饋；

邏輯時間操作單元，在所述超時定時器超時時響應，用于獲取當前邏輯時間 Term，并根據當前邏輯時間Term的值執行相應操作。

所述選舉信息廣播單元中，當在設定時間內接收的半數以上反饋信息為同意 時，判定為成功成為Leader角色。

所述邏輯時間操作單元中的相應操作包括：

A)超時定時器超時時，將當前邏輯時間Term的值執行加1操作后作為當前 邏輯時間Term，整合入選舉信息廣播單元產生的選舉為Leader角色的信息中；

B)當檢測到其它一致性模塊廣播的選舉為Leader角色的信息時，判斷該信息 中的邏輯時間Term是否大于操作A)中獲取的當前邏輯時間Term，若是，則將一 致性模塊變為Follower角色，若否，則反饋拒絕信息。

所述信息反饋單元收到的信息包括響應選舉為Leader角色的信息的反饋信息 和響應日志信息的確認信息。

所述日志模塊包括：

日志存儲單元，用于存儲接收到的日志信息；

日志提交單元，用于在收到確認提交信息后，將接收到的日志信息提交到存儲 模塊；

日志刪除單元，用于刪除小于設定記錄的日志信息。

所述設定記錄根據如下方式獲取：

Leader角色獲取各Follower角色提交日志信息的最小記錄，以所述最小記錄 作為相應Follower角色的設定記錄。

所述存儲模塊包括LevelDB存儲和Mysql數據庫。

所述日志模塊將接收到的日志信息提交到存儲模塊具體為：

將SQL操作日志提交到Mysql數據庫，將鎖操作日志和事件操作日志提交到 LevelDB存儲。