[發明專利]分布式數據庫系統中的異步垃圾收集

在審

• 申請號: 201380080167.7
• 申請日: 2013-10-30
• 公開（公告）號: CN105637489A
• 公開（公告）日: 2016-06-01
• 發明（設計）人: 塞巴斯蒂安·坦德爾
• 申請（專利權）人: 慧與發展有限責任合伙企業
• 主分類號: G06F12/00
• 分類號: G06F12/00;G06F9/38
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 柴德海;康泉

背景技術

分布式數據庫系統可以包括多個數據庫，其中每個數據庫的多個部分可以位于各 個集群上。每個集群可以包括數個服務器，其中每個服務器可以擁有該數據庫的一部 分。當該系統的用戶訪問、修改、刪除或重新整理每個數據庫中包含的數據時，該系 統可以接收對該數據庫的更新。分布式數據庫系統可以響應于數據庫的改變，創建該 數據庫的不同版本。數據庫的不同版本可以稱為該數據庫的多個代。

附圖說明

在下面的詳細描述中并且參照附圖描述特定示例，其中：

圖1是包括處理流水線的系統的框圖；

圖2是使在分布式數據庫系統中能夠進行異步垃圾收集的計算設備的框圖；

圖3是用于分布式數據庫系統中的異步垃圾收集的方法流程圖；

圖4是用于分布式數據庫系統中的異步垃圾收集的方法流程圖；以及

圖5是示出使在分布式數據庫系統中能夠進行垃圾收集的有形非暫時性計算 機可讀介質的框圖。

在整個公開和各圖中，相同的附圖標記用于指相似的組件和特征。100系列的 附圖標記指最初在圖1中出現的特征；200系列的附圖標記指最初在圖2中出現的 特征；以此類推。

具體實施方式

如上面討論的，分布式數據庫可以在可以由數十個服務器組成的集群上運行。 每個服務器可以存儲該數據庫的全部或一部分。數據庫可能是在未考慮共享理念 的條件下設計的，使得服務器不維護與分布式數據庫系統有關的任何狀態信息。 在這樣的情景下，分布式數據庫系統由主控器(Master)協調。數據庫的每個版本 可以稱為一代。一旦準備查詢新一代的數據庫，老一代就是要進行垃圾收集的候 選。在一些情況下，垃圾收集是從分布式數據庫系統中刪除或移除舊信息。但是， 老一代數據庫可能由于數據耐久性和安全性原因而不能進行垃圾收集。此外，當 有在老一代數據庫上運行的進行中的事務時，數據庫可能不能進行垃圾收集。

本文描述的實施例使在分布式數據庫系統中能夠進行異步垃圾收集。在實施 例中，當各代數據不再貢獻系統的數據耐久性或安全性時，選擇與垃圾收集有關 的候選代。垃圾收集在無共享架構中發生，并且垃圾收集器在整個系統上產生較 小的占用空間。因此，在與使用特定垃圾收集器方法相比時，以降低的成本優化 了數據耐久性和數據安全性。此外，可以釋放存儲資源，以產生存儲系統更有效 使用。主控器可以確定數據庫的可以被垃圾收集的特定代，并且主控器還可以協 調在集群的每個服務器上運行的垃圾收集器。

圖1是包括處理流水線102的系統100的框圖。處理流水線102包括攝取級 104、ID(標識符)重映射級106、分類級108和合并級110。來自各更新源112 的數據更新被提供給服務器系統100，以由處理流水線102處理。更新源112的示 例包括可以存儲組織內的數據的各種機器，其中機器可以包括臺式機、筆記本計 算機、個人數字助理(PDA)、各種服務器(例如，文件服務器、電子郵件服務 器等)或其它類型的設備。盡管圖1中示出處理流水線102的特定級，但是注意 到，在不同實施例中，可以在處理流水線102中提供可選的級或其它級。流水線 的每個級獨立于其它級。此外，該流水線的每個級可以在不同的獨立的服務器上 運行。該流水線中的每個級的動作和任務由被稱為主控器的主進程編排。

處理流水線102的攝取級104批處理(收集)進入的來自更新源112的數據 更新。在服務器系統100中處理和存儲的數據可以包括各種元數據、文件、電子 郵件、視頻對象、音頻對象等。更新可以是數據的增加、刪除或重新整理。在一 些實施例中，進入的更新被批處理成數據結構。在一些情況下，該數據結構是自 一致更新(SCU)。SCU是一批更新，其中該批是單個不可分割單元，并且直至 該SCU中的所有單獨更新都被寫至存儲器才被認為是持久的。因此，應用SCU的 所有更新，或者不應用SCU的任何更新。任何一個SCU中的數據更新與另一SCU 中的數據更新隔離。在一些實施例中，未分類的SCU是持久的，這意味著在服務 器系統100具有某一錯誤狀況或電源故障時，該SCU的更新不丟失。