[發明專利]實現數據拼接的方法和實現數據拼接的系統

在審

• 申請號: 202011608637.0
• 申請日: 2020-12-30
• 公開（公告）號: CN112632053A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 石光川;王太澤
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/242;G06F16/2455;G06F16/2457;G06F16/25;G06N20/00
• 代理公司: 北京銘碩知識產權代理有限公司 11286
• 代理人: 蘇銀虹;曾世驍

1.一種實現數據拼接的方法，其特征在于，包括：

響應于接收到的數據拼接任務，讀取待拼接的主表，其中，所述數據拼接任務是包括時間條件的數據拼接任務；

基于所述主表的每個主鍵，在數據庫中查詢副表中相應主鍵的時間戳信息符合所述時間條件的數據記錄；其中，所述副表中的每條數據記錄具有時間戳信息，所述數據庫針對所述副表中相同主鍵的數據記錄，基于所述時間戳信息按時序保存所述副表中相同主鍵的每條數據記錄；

基于查詢到的數據記錄，生成所述主表與所述查詢到的數據記錄的拼接結果。

2.如權利要求1所述的方法，其特征在于，所述讀取待拼接的主表，包括：

從存儲所述主表的存儲介質中，批量讀取所述主表的數據；或者

從所述主表的流式數據源，讀取所述主表的數據。

3.如權利要求1所述的方法，其特征在于，

所述副表的數據被預先導入所述數據庫中；

或者，

所述副表的一部分數據被預先導入所述數據庫中，所述副表的另一部分數據在所述數據拼接任務執行過程中被導入所述數據庫中。

4.如權利要求1所述的方法，其特征在于，所述副表的數據從存儲所述副表的存儲介質中被批量讀取并導入所述數據庫中；或者

所述副表的數據從所述副表的流式數據源被讀取并導入所述數據庫中。

5.如權利要求1所述的數據拼接方法，其特征在于，所述時間條件為時間窗條件；

所述基于所述主表的每個主鍵，在數據庫中查詢副表中相應主鍵的時間戳信息符合所述時間條件的數據記錄，包括：

基于所述主表的每個主鍵，在所述數據庫中查詢所述副表中相應主鍵的時間戳信息落入所述時間窗內的數據記錄。

6.如權利要求5所述的方法，其特征在于，所述基于所述主表的每個主鍵，在所述數據庫中查詢所述副表中相應主鍵的時間戳信息落入所述時間窗內的數據記錄，包括：

針對每個主鍵，基于所述時間窗的起始時間點、結束時間點以及所述副表中相應主鍵的數據記錄的時間戳信息，查詢所述副表中相應主鍵的起始數據記錄和結束數據記錄，并獲取起始數據記錄和結束數據記錄之間的所有數據記錄，從而實現一次查詢到相應主鍵的時間戳信息落入所述時間窗內的全量數據記錄。

7.如權利要求1所述的方法，其特征在于，在針對相同主鍵查詢到的數據記錄包括多條數據記錄的情況下，所述基于查詢到的數據記錄，生成所述主表與所述查詢到的數據記錄的拼接結果，包括：

對相同主鍵的所述多條數據記錄執行數據聚合處理，獲得聚合結果數據；

基于所述聚合結果數據，生成所述拼接結果。

8.一種實現數據拼接的系統，其特征在于，包括：

讀取裝置，被配置為：響應于接收到的數據拼接任務，讀取待拼接的主表，其中，所述數據拼接任務是包括時間條件的數據拼接任務；

查詢裝置，被配置為：基于所述主表的每個主鍵，在數據庫中查詢副表中相應主鍵的時間戳信息符合所述時間條件的數據記錄；其中，所述副表中的每條數據記錄具有時間戳信息，所述數據庫針對所述副表中相同主鍵的數據記錄，基于所述時間戳信息按時序保存所述副表中相同主鍵的每條數據記錄；

拼接裝置，被配置為：基于查詢到的數據記錄，生成所述主表與所述查詢到的數據記錄的拼接結果。

9.一種存儲指令的計算機可讀存儲介質，其中，當所述指令被至少一個計算裝置運行時，促使所述至少一個計算裝置執行如權利要求1至7中的任一權利要求所述的實現數據拼接的方法。

10.一種包括至少一個計算裝置和至少一個存儲指令的存儲裝置的系統，其中，所述指令在被所述至少一個計算裝置運行時，促使所述至少一個計算裝置執行如權利要求1至7中的任一權利要求所述的實現數據拼接的方法。