[發明專利]數據寫入存儲方法、裝置、設備和計算機可讀存儲介質

在審

• 申請號: 202011066646.1
• 申請日: 2020-10-02
• 公開（公告）號: CN112306965A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 周朝衛
• 申請（專利權）人: 中盈優創資訊科技有限公司
• 主分類號: G06F16/16
• 分類號: G06F16/16
• 代理公司: 上海嘉藍專利代理事務所(普通合伙) 31407
• 代理人: 金波

本發明的實施例提供了一種數據寫入存儲方法、裝置、設備和計算機可讀存儲介質。所述方法包括在執行一批次任務時，生成對應的數據文件，寫入臨時目錄；判斷元數據文件中是否存在當前批次任務對應的文件標識列表，如果是，則刪除數據目錄中所述文件標識列表對應的數據文件；將寫入臨時目錄的數據文件的文件標識映射為數據目錄下的文件標識列表，并將所述文件標識列表及對應的批次號寫入元數據文件；將當前臨時目錄中的數據文件移動至數據目錄中，并對所述數據文件進行重命名。以此方式，可以在任務運行失敗或數據存儲異常情況發生時對數據進行重新處理，自動清理歷史臟數據，保證數據不丟失、不重復。

技術領域

本發明的實施例一般涉及數據處理領域，并且更具體地，涉及一種數據寫入存儲方法、裝置、設備和計算機可讀存儲介質。

背景技術

在典型的實時ETL場景下，Spark Structured Streaming按照批次處理數據，即每間隔一段時間從數據源拉取數據，處理后，寫入目標存儲。但由于任務運行失敗以及網絡故障、主機故障、集群故障等問題導致數據存儲異常情況時有發生。而如果不重新處理這些數據，則將會丟失該批次任務的數據。即使重新處理失敗任務，也無法識別出該批次任務對應的數據文件。

發明內容

根據本發明的實施例，提供了一種數據寫入存儲方案。

在本發明的第一方面，提供了一種數據寫入存儲方法。該方法包括：

步驟1：在執行一批次任務時，生成對應的數據文件，寫入臨時目錄；

步驟2：判斷元數據文件中是否存在當前批次任務對應的文件標識列表，如果是，則刪除數據目錄中所述文件標識列表對應的數據文件，并執行步驟3；否則直接執行步驟3；

步驟3：將寫入臨時目錄的數據文件的文件標識映射為數據目錄下的文件標識列表，并將所述文件標識列表及對應的批次號寫入元數據文件；

步驟4：將當前臨時目錄中的數據文件移動至數據目錄中，并對所述數據文件進行重命名。

進一步地，所述元數據文件用于存儲任務的批次號和所述批次號對應的文件標識列表。

進一步地，所述臨時目錄用于臨時存儲數據文件，刪除移動后的數據文件。

進一步地，所述寫入臨時目錄，包括：

判斷所述臨時目錄中是否有目標批次號的數據文件，如果有，則將待寫入的目標批次號的數據文件寫入所述臨時目錄，并覆蓋所述臨時目錄中已有的目標批次號的數據文件；否則直接將待寫入的目標批次號的數據文件寫入所述臨時目錄。

進一步地，如果當前批次任務執行失敗，則重新執行該批次任務，返回步驟1。

進一步地，在元數據文件中，對所述數據目錄中的數據文件按照批次號進行排序，按照順序保留靠近當前批次號的若干個數據文件，并刪除其余的數據文件。

進一步地，所述將所述文件標識列表及對應的批次號寫入元數據文件，包括：

判斷所述元數據文件中是否有目標批次號的文件標識列表，如果有，則將待寫入的目標批次號及對應的文件標識列表寫入所述元數據文件，并覆蓋所述元數據文件中已有的目標批次號的文件標識列表；否則直接將待寫入的目標批次號的文件標識列表寫入所述元數據文件。

在本發明的第二方面，提供了一種數據寫入存儲裝置。該裝置包括：

生成模塊，用于在執行一批次任務時，生成對應的數據文件，寫入臨時目錄；

判斷模塊，用于判斷元數據文件中是否存在當前批次任務對應的文件標識列表，如果是，則刪除數據目錄中所述文件標識列表對應的數據文件，并調用映射模塊；否則直接調用映射模塊；