[發明專利]數據分片的處理以及垃圾文件的刪除方法和裝置

有效

• 申請號: 201510271710.2
• 申請日: 2015-05-25
• 公開（公告）號: CN104881466B
• 公開（公告）日: 2018-09-07
• 發明（設計）人: 徐佩林;顏世光;覃安;李康;梁棟
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆;胡彬

本發明實施例公開了一種數據分片的處理以及垃圾文件的刪除方法和裝置。數據分片的處理方法包括：在分布式全序存儲系統生成全序數據分片的過程中，獲取與數據分片對應的至少一個屬性描述信息，其中，屬性描述信息包括數據迭代信息；將屬性描述信息寫入與數據分片對應的文件元信息中；在接收到對至少一個目標數據分片的處理指示時，對與目標數據分片對應的文件元信息中的數據迭代信息進行處理，以實現對目標數據分片的處理。本發明的技術方案實現了無需對數據文件進行任何移動或修改，即可完成對所述目標數據分片進行處理的技術效果，優化了現有的分布式全序存儲系統中數據分片的處理機制，滿足人們日益增長的便捷化、高效化的數據分片的處理需求。

技術領域

本發明實施例涉及計算機技術，尤其涉及一種數據分片的處理以及垃圾文件的刪除方法和裝置。

背景技術

一般來說，數據在數據庫中主要通過Key-Value(鍵值對)的方式進行存儲。每一個鍵名(Key)中存儲有對應的鍵值(Value)，通過鍵名可以查找到相應的鍵值，進而可以對該鍵值完成一定的數據操作。此外，為了實現對數據庫中數據的快速讀寫，數據庫中存儲的數據一般為全序數據。

全序數據在邏輯上看是一個按key排序的超大數據集(數據行數在萬億量級以上)，由于其數據量巨大，僅通過一個或者幾個服務器是無法將超大數據集完全存儲下來的。因此，在現有的分布式全序存儲系統中，需要將海量全序數據以分布式的方式分散存儲在服務器集群的各個數據分片中。其中，不同的數據分片存儲于一個或者多個分片服務器，不同分片中所存儲的數據信息范圍被統一存儲于管理服務器的分片元信息中。這樣，多個分片服務器通過一個管理服務器進行統一的調度配置，即可實現對全序數據的各類操作。

顯然，數據庫中存儲的全序數據是動態變化的，隨著對數據的持續增刪操作，分片的大小會發生變化，因此需要對較大分片進行分裂，并對較小的分片進行合并，而如何將存儲全序數據的數據分片進行合理且高效的分裂/合并是目前一個非常重要的研究課題。

現有的分片分裂/合并技術的實現方法主要有如下兩種：

1、離線分裂/合并。本方案在分片分裂/合并的時候需要停止服務。然后將分片內的舊數據離線寫入至新分片中，再修改分片元信息生效。這種實現的分裂/合并效率非常低，需要增加一倍的帶寬/計算資源，且需要長時間停止服務，在對實時性要求較高的場景下是不可接受的；

2、基于文件鏈接的分裂。在本方案中，分片的物理存儲對應于一個文件系統目錄，如果生成新的分片，只需要在新分片目錄下創建舊文件的鏈接。這種方案無需移動數據，可在線分裂，無需停止服務。但需要依賴文件系統的鏈接功能，且無法有效實現分片合并。

發明內容

有鑒于此，本發明實施例提供一種數據分片的處理以及垃圾文件的刪除方法和裝置，以優化現有的分布式全序存儲系統中數據分片的處理機制，滿足人們日益增長的便捷化、高效化的數據分片的處理需求。

在第一方面，本發明實施例提供了一種分布式全序存儲系統中數據分片的處理方法，包括：

在分布式全序存儲系統生成全序數據分片的過程中，獲取與所述數據分片對應的至少一個屬性描述信息，其中，所述屬性描述信息包括數據迭代信息；

將所述屬性描述信息寫入與所述數據分片對應的文件元信息中；

在接收到對至少一個目標數據分片的處理指示時，對與所述目標數據分片對應的文件元信息中的數據迭代信息進行處理，以實現對所述目標數據分片的處理。

在第二方面，本發明實施例提供了一種垃圾文件的刪除方法，包括：

查詢分布式全序存儲系統中與各數據分片對應的文件元信息，獲取第一文件列表，其中，所述文件元信息中存儲有與數據分片對應的屬性描述信息，且所述屬性描述信息中包括有數據迭代信息；