[發(fā)明專利]數(shù)據(jù)處理方法、裝置、計算機(jī)設(shè)備、存儲介質(zhì)和程序產(chǎn)品

在審

• 申請?zhí)枺?/td>: 202210969613.0
• 申請日: 2022-08-12
• 公開（公告）號: CN115344428A
• 公開（公告）日: 2022-11-15
• 發(fā)明（設(shè)計）人: 程允權(quán);肖廷楷;馬立珂;王子駿;楊海鋒
• 申請（專利權(quán)）人: 廣州鼎甲計算機(jī)科技有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/16;G06F16/182
• 代理公司: 華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 陳小娜

本申請涉及一種數(shù)據(jù)處理方法，所述方法包括：接收控制端發(fā)送的當(dāng)前次的數(shù)據(jù)備份指令，其中，所述數(shù)據(jù)備份指令包括待備份數(shù)據(jù)集的第一數(shù)據(jù)集標(biāo)識；響應(yīng)于所述數(shù)據(jù)備份指令，獲取所述第一數(shù)據(jù)集標(biāo)識對應(yīng)的第一元數(shù)據(jù)，根據(jù)所述第一元數(shù)據(jù)為所述第一數(shù)據(jù)集標(biāo)識對應(yīng)的各數(shù)據(jù)文件的目錄建立當(dāng)前次的快照信息，根據(jù)所述當(dāng)前次的快照信息確定待備份的目標(biāo)數(shù)據(jù)文件，并將所述目標(biāo)數(shù)據(jù)文件寫入至備份集存儲池中。采用本方法能夠最快的記錄下來所要備份或恢復(fù)文件的當(dāng)下狀態(tài)，提高了備份或恢復(fù)數(shù)據(jù)文件的準(zhǔn)確性，同時把熱備份過程中對HDFS讀寫鎖的競爭降到最低程度，從而減少了對線上業(yè)務(wù)的影響。

技術(shù)領(lǐng)域

本申請涉及計算機(jī)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)處理方法、裝置、計算機(jī)設(shè)備、存儲介質(zhì)和程序產(chǎn)品。

背景技術(shù)

Hive是基于分布式計算(Hadoop)構(gòu)建的一套數(shù)據(jù)倉庫分析系統(tǒng)，它提供了豐富的結(jié)構(gòu)化查詢語言(Structured Query Language，SQL)查詢方式來分析存儲在Hadoop分布式文件系統(tǒng)(Hadoop Distributed File System，HDFS)中的數(shù)據(jù)。數(shù)據(jù)備份是容災(zāi)的基礎(chǔ)，隨著數(shù)據(jù)倉庫的日益廣泛應(yīng)用及其數(shù)據(jù)的海量增加，對Hive的數(shù)據(jù)備份的完整性和時效性要求也越來越高。

目前對HDFS文件進(jìn)行直接復(fù)制備份，然而，由于在備份過程中Hive底層的HDFS文件會不斷發(fā)生變更，而且拷貝底層HDFS文件的過程中也會引起讀寫競爭，影響線上業(yè)務(wù)。

發(fā)明內(nèi)容

基于此，有必要針對上述技術(shù)問題，提供一種能夠降低讀寫競爭的數(shù)據(jù)處理方法、裝置、計算機(jī)設(shè)備、存儲介質(zhì)和程序產(chǎn)品。

第一方面，本申請?zhí)峁┝艘环N數(shù)據(jù)處理方法。所述方法包括：

接收控制端發(fā)送的當(dāng)前次的數(shù)據(jù)備份指令，其中，數(shù)據(jù)備份指令包括待備份數(shù)據(jù)集的第一數(shù)據(jù)集標(biāo)識；

響應(yīng)于上述數(shù)據(jù)備份指令，獲取第一數(shù)據(jù)集標(biāo)識對應(yīng)的第一元數(shù)據(jù)；

根據(jù)第一元數(shù)據(jù)為第一數(shù)據(jù)集標(biāo)識對應(yīng)的各數(shù)據(jù)文件的目錄建立當(dāng)前次的快照信息；

根據(jù)當(dāng)前次的快照信息確定待備份的目標(biāo)數(shù)據(jù)文件，并將目標(biāo)數(shù)據(jù)文件寫入至備份集存儲池中。

在其中一個實施例中，根據(jù)第一元數(shù)據(jù)為第一數(shù)據(jù)集標(biāo)識對應(yīng)的各數(shù)據(jù)文件的目錄建立當(dāng)前次的快照信息，包括：

根據(jù)第一元數(shù)據(jù)中的待備份數(shù)據(jù)集的路徑信息，獲取第一數(shù)據(jù)集標(biāo)識對應(yīng)的各數(shù)據(jù)文件的目錄，并為目錄建立當(dāng)前次的快照信息。

在其中一個實施例中，若數(shù)據(jù)備份指令為全量備份指令，則根據(jù)當(dāng)前次的快照信息確定待備份的目標(biāo)數(shù)據(jù)文件，并將目標(biāo)數(shù)據(jù)文件寫入至備份集存儲池中，包括：

根據(jù)當(dāng)前次的快照信息，獲取第一數(shù)據(jù)集標(biāo)識當(dāng)前次對應(yīng)的各數(shù)據(jù)文件。

將第一數(shù)據(jù)集標(biāo)識當(dāng)前次對應(yīng)的各數(shù)據(jù)文件作為目標(biāo)數(shù)據(jù)文件，并將目標(biāo)數(shù)據(jù)文件寫入至備份集存儲池中，以對目標(biāo)數(shù)據(jù)文件進(jìn)行全量備份。

在其中一個實施例中，若數(shù)據(jù)備份指令為增量數(shù)據(jù)備份指令，則根據(jù)當(dāng)前次的快照信息確定待備份的目標(biāo)數(shù)據(jù)文件，并將目標(biāo)數(shù)據(jù)文件寫入至備份集存儲池中，包括：

根據(jù)當(dāng)前次的快照信息與上一次的快照信息確定目標(biāo)數(shù)據(jù)文件，并將目標(biāo)數(shù)據(jù)文件寫入至備份集存儲池中。

其中，上一次的快照信息為當(dāng)前次的前一次對第一數(shù)據(jù)集標(biāo)識對應(yīng)的各數(shù)據(jù)文件進(jìn)行全量備份所對應(yīng)的快照信息。

在其中一個實施例中，根據(jù)當(dāng)前次的快照信息與上一次的快照信息確定目標(biāo)數(shù)據(jù)文件，并將目標(biāo)數(shù)據(jù)文件寫入至備份集存儲池中，包括：

將當(dāng)前次的快照信息與上一次的快照信息進(jìn)行比對，得到第一數(shù)據(jù)集標(biāo)識的當(dāng)前次對應(yīng)的各數(shù)據(jù)文件與上一次對應(yīng)的各數(shù)據(jù)文件之間的差異文件。