[發明專利]一種非結構化數據文件的元數據同步方法、裝置及設備

在審

• 申請號: 202010313546.8
• 申請日: 2020-04-20
• 公開（公告）號: CN111522784A
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 張旭
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/178
• 分類號: G06F16/178;G06F16/13;G06F16/31
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 陳沖

1.一種非結構化數據文件的元數據同步方法，包括：

獲取數據文件，生成所述數據文件的元數據記錄，所述元數據記錄中不包含序列號；

確定元數據索引文件中的最大序列號；

給所述元數據記錄賦予從所述最大序列號依次遞增的序列號，生成包含序列號的元數據記錄；

將所述包含序列號的元數據記錄合并至所述元數據索引文件中，生成新的元數據索引文件。

2.如權利要求1所述的方法，當所述元數據中還包括生成時間點時，所述方法還包括：

確定有效時間點，從所述元數據索引文件中刪除生成時間在點所述有效時間點之前的元數據記錄。

3.如權利要求1所述的方法，生成所述數據文件的元數據記錄，包括:

確定所述數據文件的完整性校驗值，生成所述數據文件的包含所述完整性校驗值的元數據記錄。

4.如權利要求1所述的方法，生成所述數據文件的元數據記錄，包括:

確定所述數據文件的壓縮策略或者加密策略，生成包含所述壓縮策略或者加密策略的元數據記錄。

5.一種基于權利要求1所述的元數據索引文件的數據文件拉取方法，包括：

獲取元數據索引文件；

對比獲取得到的元數據索引文件與本地預存的元數據索引文件，確定出新增的元數據記錄；

按照所述新增的元數據記錄的序列號，依序拉取所述元數據記錄所對應的數據文件；

將本地預存的元數據索引文件替換為獲取得到的元數據索引文件。

6.如權利要求5所述的方法，當所述元數據記錄中還包含數據文件的完整性校驗值時，所述方法還包括：

計算拉取得到的數據文件的當前的完整性校驗值，并驗證所述當前的完整性校驗值和所述元數據記錄中該數據文件的完整性校驗值的一致性。

7.如權利要求5所述的方法，當所述元數據記錄中還包含有壓縮策略或者加密策略時，所述方法還包括：

確定所述壓縮策略所對應的解壓策略，并解壓縮所述元數據記錄對應的數據文件；或者確定所述加密策略所對應的解密策略，并解密所述元數據記錄對應的數據文件。

8.一種非結構化數據文件的元數據同步裝置，包括：

獲取模塊，獲取數據文件，生成所述數據文件的元數據記錄，所述元數據記錄中不包含序列號；

確定模塊，確定元數據索引文件中的最大序列號；

生成模塊，給所述元數據記錄賦予從所述最大序列號依次遞增的序列號，生成包含序列號的元數據記錄；

更新模塊，將所述包含序列號的元數據記錄合并至所述元數據索引文件中，生成新的元數據索引文件。

9.如權利要求8所述的裝置，當所述元數據中還包括生成時間點時，所述裝置還包括刪除模塊，確定出元數據的有效時間點，從所述元數據索引文件中刪除生成時間在點所述有效時間點之前的元數據記錄。

10.如權利要求8所述的裝置，所述生成模塊，確定所述數據文件的完整性校驗值，生成所述數據文件的包含所述完整性校驗值的元數據記錄。

11.如權利要求8所述的裝置，所述生成模塊，確定所述數據文件的壓縮策略或者加密策略，生成包含所述壓縮策略或者加密策略的元數據記錄。

12.一種基于權利要求1所述的元數據索引文件的數據文件拉取裝置，包括：

獲取模塊，獲取元數據索引文件；

對比模塊，對比獲取得到的元數據索引文件與本地預存的元數據索引文件，確定出新增的元數據記錄；

拉取模塊，按照所述新增的元數據記錄的序列號，依序拉取所述元數據記錄所對應的數據文件。