[發明專利]Hive數據庫中拉鏈表的更新方法、裝置和計算機設備

在審

• 申請號: 201811084123.2
• 申請日: 2018-09-17
• 公開（公告）號: CN109299093A
• 公開（公告）日: 2019-02-01
• 發明（設計）人: 劉廣平;許浩奇;陳潤紅
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/215;G06F16/245
• 代理公司: 深圳市明日今典知識產權代理事務所(普通合伙) 44343
• 代理人: 王杰輝

1.一種Hive數據庫中拉鏈表的更新方法，其特征在于，所述Hive數據庫包括拉鏈表和增量表，所述拉鏈表設置有多個第一分區表，以及一個有效數據分區表；多個所述第一分區表是按照預設規則建立的具有不同屬性的分區，第一分區表內記錄關閉拉鏈的數據；所述有效數據分區表用于記載未處于關閉拉鏈狀態的數據；所述更新方法，包括：

獲取當前的增量表，并將所述增量表與所述有效數據分區表進行內關聯，以查找到需要關閉拉鏈的數據；

解析出所述需要關閉拉鏈的數據的第一屬性，將所述需要關閉拉鏈的數據插入到與所述第一屬性對應的第一分區表中；

將所述增量表與所述有效數據分區表中的數據進行全關聯，得到更新后的有效數據分區表。

2.根據權利要求1所述的Hive數據庫中拉鏈表的更新方法，其特征在于，所述解析出所述需要關閉拉鏈的數據的第一屬性，將所述需要關閉拉鏈的數據插入到與所述第一屬性對應的第一分區表中的步驟，包括：

解析出所述需要關閉拉鏈的數據的第一屬性；

若存在與所述第一屬性對應的第一分區表，則將所述需要關閉拉鏈的數據插入到與所述第一屬性對應的第一分區表中；

若不存在與所述第一屬性對應的第一分區表，則根據所述第一屬性生成一個與所述第一屬性對應的第一分區表，并將所述需要關閉拉鏈的數據插入到生成的與所述第一屬性對應的第一分區表中。

3.根據權利要求1所述的Hive數據庫中拉鏈表的更新方法，其特征在于，所述獲取當前的增量表，并將所述增量表與所述有效數據分區表進行內關聯，以查找到需要關閉拉鏈的數據的步驟之前，包括：

獲取預設的第二屬性，根據所述第二屬性建立所述有效數據分區表。

4.根據權利要求1所述的Hive數據庫中拉鏈表的更新方法，其特征在于，所述獲取當前的增量表，并將所述增量表與所述有效數據分區表進行內關聯，以查找到需要關閉拉鏈的數據的步驟之前，包括：

獲取增量數據，并將所述增量數據進行去重處理；

將去重后的增量數據制成所述增量表。

5.根據權利要求4所述的Hive數據庫中拉鏈表的更新方法，其特征在于，所述獲取增量數據，并將所述增量數據進行去重處理的步驟，包括：

獲取各所述增量數據的主鍵；

判斷所述主鍵中是否存在相同的主鍵；

若存在相同的主鍵，則判斷各相同的主鍵對應的數據是否存在重復；

若存在重復數據，則只保留一組重復的數據。

6.根據權利要求5所述的Hive數據庫中拉鏈表的更新方法，其特征在于，所述判斷各相同的主鍵對應的數據是否存在重復的步驟，包括：

將各相同的主鍵對應的數據分別向量化，得到對應的向量矩陣；

計算各向量矩陣之間的相似度；

若任意兩向量矩陣的相似度達到預設值，則判定所述任意兩向量矩陣對應的數據為重復數據。

7.根據權利要求1所述的Hive數據庫中拉鏈表的更新方法，其特征在于，所述將所述增量表與所述有效數據分區表中的數據進行全關聯，得到更新后的有效數據分區表的步驟之后，包括：

定時對所述拉鏈表進行跑批運算。

8.一種Hive數據庫中拉鏈表的更新裝置，其特征在于，所述Hive數據庫包括拉鏈表和增量表，所述拉鏈表設置有多個第一分區表，以及一個有效數據分區表；多個所述第一分區表是按照預設規則建立的具有不同屬性的分區，第一分區表內記錄關閉拉鏈的數據；所述有效數據分區表用于記載未處于關閉拉鏈狀態的數據；所述更新裝置，包括：

獲取關聯單元，用于獲取當前的增量表，并將所述增量表與所述有效數據分區表進行內關聯，以查找到需要關閉拉鏈的數據；

解析插入單元，用于解析出所述需要關閉拉鏈的數據的第一屬性，將所述需要關閉拉鏈的數據插入到與所述第一屬性對應的第一分區表中；

關聯更新單元，用于將所述增量表與所述有效數據分區表中的數據進行全關聯，得到更新后的有效數據分區表。