[發明專利]Hive數據庫中拉鏈表的更新方法、裝置和計算機設備

在審

• 申請號: 201811084123.2
• 申請日: 2018-09-17
• 公開（公告）號: CN109299093A
• 公開（公告）日: 2019-02-01
• 發明（設計）人: 劉廣平;許浩奇;陳潤紅
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/215;G06F16/245
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝

本申請揭示了Hive數據庫中拉鏈表的更新方法、裝置和計算機設備，拉鏈表設置有多個第一分區表，以及一個有效數據分區表；第一分區表內記錄關閉拉鏈的數據；有效數據分區表用于記載未處于關閉拉鏈狀態的數據；更新方法為：獲取當前的增量表，并將增量表與有效數據分區表進行內關聯，以查找到需要關閉拉鏈的數據；解析出需要關閉拉鏈的數據的第一屬性，將需要關閉拉鏈的數據插入到與第一屬性對應的第一分區表中；將增量表與有效數據分區表中的數據進行全關聯，得到更新后的有效數據分區表。先查找出需要關閉拉鏈的數據，并將其進行屬性分析，然后插入到對應屬性的第一分區表中，然后再對有效數據分區表進行更新，邏輯清晰，且代碼實現簡單。

技術領域

本申請涉及到計算機領域，特別是涉及到一種Hive數據庫中拉鏈表的更新方法、裝置和計算機設備。

背景技術

當前數據倉庫在保留歷史數據時主要有兩種形式：第一種，快照，針對每天保留全量數據；第二種，拉鏈記歷史，每天針對變化的數據記錄其生命周期。第一種耗費存儲空間。第二種在對于數據變化頻率小的情況下是比較好的選擇方案。

但是，在設計拉鏈表時通用做法是設計兩個字段(開始日期和結束日期)記錄數據的變化，但在Hive里不能對已有的數據文件進行更新，拉鏈表的更新實現，邏輯復雜。

發明內容

本申請的主要目的為提供一種可以更新，且更新邏輯簡單的Hive數據庫中拉鏈表的更新方法、裝置、計算機設備和存儲介質。

為了實現上述發明目的，本申請提出一種Hive數據庫中拉鏈表的更新方法，所述Hive數據庫包括拉鏈表和增量表，所述拉鏈表設置有多個第一分區表，以及一個有效數據分區表；多個所述第一分區表是按照預設規則建立的具有不同屬性的分區，第一分區表內記錄關閉拉鏈的數據；所述有效數據分區表用于記載未處于關閉拉鏈狀態的數據；所述更新方法，包括：

獲取當前的增量表，并將所述增量表與所述有效數據分區表進行內關聯，以查找到需要關閉拉鏈的數據；

解析出所述需要關閉拉鏈的數據的第一屬性，將所述需要關閉拉鏈的數據插入到與所述第一屬性對應的第一分區表中；

將所述增量表與所述有效數據分區表中的數據進行全關聯，得到更新后的有效數據分區表。

進一步地，所述解析出所述需要關閉拉鏈的數據的第一屬性，將所述需要關閉拉鏈的數據插入到與所述第一屬性對應的第一分區表中的步驟，包括：

解析出所述需要關閉拉鏈的數據的第一屬性；

若存在與所述第一屬性對應的第一分區表，則將所述需要關閉拉鏈的數據插入到與所述第一屬性對應的第一分區表中；

若不存在與所述第一屬性對應的第一分區表，則根據所述第一屬性生成一個與所述第一屬性對應的第一分區表，并將所述需要關閉拉鏈的數據插入到生成的與所述第一屬性對應的第一分區表中。

進一步地，所述獲取當前的增量表，并將所述增量表與所述有效數據分區表進行內關聯，以查找到需要關閉拉鏈的數據的步驟之前，包括：

獲取預設的第二屬性，根據所述第二屬性建立所述有效數據分區表。

進一步地，所述獲取當前的增量表，并將所述增量表與所述有效數據分區表進行內關聯，以查找到需要關閉拉鏈的數據的步驟之前，包括：

獲取增量數據，并將所述增量數據進行去重處理；

將去重后的增量數據制成所述增量表。

進一步地，所述獲取增量數據，并將所述增量數據進行去重處理的步驟，包括：

獲取各所述增量數據的主鍵；

判斷所述主鍵中是否存在相同的主鍵；