[發(fā)明專利]一種拉鏈表生成方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910532415.6
• 申請(qǐng)日: 2019-06-19
• 公開（公告）號(hào): CN110209891A
• 公開（公告）日: 2019-09-06
• 發(fā)明（設(shè)計(jì)）人: 楊得力;楊晨;李楊
• 申請(qǐng)（專利權(quán)）人: 河南中原消費(fèi)金融股份有限公司
• 主分類號(hào): G06F16/901
• 分類號(hào): G06F16/901;G06F16/23;G06F16/21
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 丁曼曼

本發(fā)明公開了一種拉鏈表生成方法、裝置、設(shè)備及介質(zhì)。該方法的步驟包括：讀取數(shù)據(jù)倉(cāng)庫(kù)中的目標(biāo)數(shù)據(jù)表在歷史時(shí)刻下的歷史數(shù)據(jù)記錄對(duì)應(yīng)的歷史特征值；獲取目標(biāo)數(shù)據(jù)表在當(dāng)前時(shí)刻下與歷史數(shù)據(jù)記錄對(duì)應(yīng)的當(dāng)前數(shù)據(jù)記錄；將當(dāng)前數(shù)據(jù)記錄中各字段的數(shù)據(jù)內(nèi)容拼接為第二字符串，并對(duì)第二字符串進(jìn)行Hash算法運(yùn)算生成當(dāng)前特征值；判斷歷史特征值與當(dāng)前特征值是否存在差異；如果是，則生成記錄有歷史數(shù)據(jù)記錄的拉鏈表。本方法相對(duì)降低了拉鏈表生成過程中對(duì)集群設(shè)備的運(yùn)算資源的整體占用，進(jìn)而確保了大數(shù)據(jù)平臺(tái)的整體運(yùn)行穩(wěn)定性并降低了運(yùn)維壓力。此外，本發(fā)明還提供一種拉鏈表生成裝置、設(shè)備及介質(zhì)，有益效果同上所述。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫(kù)領(lǐng)域，特別是涉及一種拉鏈表生成方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

隨著大數(shù)據(jù)時(shí)代的到來(lái)，各大企業(yè)往往都需要搭建自身的大數(shù)據(jù)平臺(tái)，而基于大數(shù)據(jù)平臺(tái)之上的數(shù)據(jù)倉(cāng)庫(kù)是大數(shù)據(jù)平臺(tái)下重要的應(yīng)用之一。數(shù)據(jù)倉(cāng)庫(kù)，是為企業(yè)所有級(jí)別的決策制定過程提供所有類型數(shù)據(jù)支持的戰(zhàn)略集合，該集合是面向主題的、集成的、時(shí)變的、非易失的。

由于在實(shí)際場(chǎng)景中，數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)表內(nèi)往往存儲(chǔ)有海量條數(shù)據(jù)記錄，數(shù)據(jù)表中數(shù)據(jù)記錄的內(nèi)容往往也會(huì)隨著時(shí)間的推移而產(chǎn)生變化，而在對(duì)數(shù)據(jù)表的應(yīng)用過程中，用戶通常需要追溯之前某一時(shí)刻下數(shù)據(jù)表中的數(shù)據(jù)記錄，因此就需要對(duì)不同歷史時(shí)段下數(shù)據(jù)表中的數(shù)據(jù)記錄進(jìn)行存儲(chǔ)。

為了避免全量存儲(chǔ)數(shù)據(jù)表中的數(shù)據(jù)記錄而對(duì)存儲(chǔ)空間造成較大的浪費(fèi)，當(dāng)前往往通過拉鏈表的方式僅保存歷史時(shí)段下數(shù)據(jù)表中發(fā)生變化的數(shù)據(jù)記錄。拉鏈表的目的是保存數(shù)據(jù)表中數(shù)據(jù)記錄從內(nèi)容變化前，一直到當(dāng)前狀態(tài)的所有變化的信息，拉鏈表通常是對(duì)賬戶信息的歷史變動(dòng)內(nèi)容進(jìn)行保留的結(jié)果。當(dāng)前生成拉鏈表時(shí)，往往需要獲取到之前時(shí)刻的數(shù)據(jù)表與當(dāng)前時(shí)刻的數(shù)據(jù)表，并比對(duì)之前時(shí)刻的數(shù)據(jù)表與當(dāng)前時(shí)刻的數(shù)據(jù)表之間對(duì)應(yīng)數(shù)據(jù)記錄中各相應(yīng)字段內(nèi)的數(shù)據(jù)，進(jìn)而當(dāng)數(shù)據(jù)表在之前時(shí)刻與當(dāng)前時(shí)刻下的某條數(shù)據(jù)記錄發(fā)送內(nèi)容變化時(shí)，將之前時(shí)刻下的該條數(shù)據(jù)記錄保存至拉鏈表。由于當(dāng)前在進(jìn)行相鄰時(shí)刻數(shù)據(jù)表之間對(duì)應(yīng)數(shù)據(jù)記錄的比對(duì)時(shí)，是逐個(gè)字段進(jìn)行內(nèi)容比對(duì)的，而在實(shí)際場(chǎng)景中，數(shù)據(jù)表中的數(shù)據(jù)記錄所包含的字段往往較多，因此當(dāng)前在進(jìn)行相鄰時(shí)刻數(shù)據(jù)表之間對(duì)應(yīng)數(shù)據(jù)記錄的比對(duì)時(shí)，需要占用集群設(shè)備大量的運(yùn)算資源，難以確保大數(shù)據(jù)平臺(tái)的整體運(yùn)行穩(wěn)定性，極易造成較大的運(yùn)維壓力。

由此可見，提供一種拉鏈表生成方法，以相對(duì)降低拉鏈表生成過程中對(duì)集群設(shè)備的運(yùn)算資源的整體占用，進(jìn)而確保大數(shù)據(jù)平臺(tái)的整體運(yùn)行穩(wěn)定性并降低運(yùn)維壓力，是本領(lǐng)域技術(shù)人員需要解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種拉鏈表生成方法、裝置、設(shè)備及介質(zhì)，以相對(duì)降低拉鏈表生成過程中對(duì)集群設(shè)備的運(yùn)算資源的整體占用，進(jìn)而確保大數(shù)據(jù)平臺(tái)的整體運(yùn)行穩(wěn)定性并降低運(yùn)維壓力。

為解決上述技術(shù)問題，本發(fā)明提供一種拉鏈表生成方法，包括：

讀取數(shù)據(jù)倉(cāng)庫(kù)中的目標(biāo)數(shù)據(jù)表在歷史時(shí)刻下的歷史數(shù)據(jù)記錄對(duì)應(yīng)的歷史特征值；其中，歷史特征值是通過預(yù)先將歷史數(shù)據(jù)記錄中各字段的數(shù)據(jù)內(nèi)容拼接為第一字符串，并對(duì)第一字符串進(jìn)行Hash算法運(yùn)算生成的；

獲取目標(biāo)數(shù)據(jù)表在當(dāng)前時(shí)刻下與歷史數(shù)據(jù)記錄對(duì)應(yīng)的當(dāng)前數(shù)據(jù)記錄；

將當(dāng)前數(shù)據(jù)記錄中各字段的數(shù)據(jù)內(nèi)容拼接為第二字符串，并對(duì)第二字符串進(jìn)行Hash算法運(yùn)算生成當(dāng)前特征值；

判斷歷史特征值與當(dāng)前特征值是否存在差異；

如果是，則生成記錄有歷史數(shù)據(jù)記錄的拉鏈表。

優(yōu)選的，讀取數(shù)據(jù)倉(cāng)庫(kù)中的目標(biāo)數(shù)據(jù)表在歷史時(shí)刻下的歷史數(shù)據(jù)記錄對(duì)應(yīng)的歷史特征值，包括：

在預(yù)設(shè)的中間表中讀取歷史數(shù)據(jù)記錄對(duì)應(yīng)的歷史特征值；其中，中間表基于目標(biāo)數(shù)據(jù)表的字段增設(shè)有記錄歷史特征值的特征值字段。