[發(fā)明專利]一種寬表數(shù)據(jù)的生成方法、更新方法和相關(guān)裝置

在審

• 申請?zhí)枺?/td>: 202010148063.7
• 申請日: 2020-03-05
• 公開（公告）號: CN113360494A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設計）人: 吳帥
• 申請（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀貿(mào)易有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2455
• 代理公司: 中原信達知識產(chǎn)權(quán)代理有限責任公司 11219
• 代理人: 李陽;郭晗

本發(fā)明公開了一種寬表數(shù)據(jù)的生成方法、更新方法和相關(guān)裝置，涉及計算機技術(shù)領(lǐng)域。該方法的一具體實施方式包括：根據(jù)維度非動態(tài)更新的數(shù)據(jù)表得到源表，根據(jù)維度動態(tài)更新的數(shù)據(jù)表得到維度數(shù)據(jù)表，按照配置的源表與匯總表之間的第一對應關(guān)系，根據(jù)源表的數(shù)據(jù)生成對應的匯總表，按照配置的匯總表、維度數(shù)據(jù)表的維度數(shù)據(jù)以及寬表之間的第二對應關(guān)系，根據(jù)匯總表和維度數(shù)據(jù)生成對應的寬表數(shù)據(jù)。該實施方式在更新已生成的寬表數(shù)據(jù)時，無需修改數(shù)據(jù)加工腳本且無需針對所有的主題表數(shù)據(jù)進行計算，克服任務重、成本高、風險大的缺陷，減少重復操作，大大減少了需重復計算的數(shù)據(jù)量，并且可以縮短整體計算時長，減少對服務器資源的浪費。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機技術(shù)領(lǐng)域，尤其涉及一種寬表數(shù)據(jù)的生成方法、更新方法和相關(guān)裝置。

背景技術(shù)

現(xiàn)今基于大數(shù)據(jù)平臺數(shù)據(jù)加工，按照某些維度生成寬表數(shù)據(jù)進行歸檔。由于某些維度數(shù)據(jù)的變更，造成需要對歷史歸檔數(shù)據(jù)的更新。現(xiàn)在常用的方式是修改數(shù)據(jù)加工腳本(即寬表數(shù)據(jù)生成腳本)，比如修改不同的統(tǒng)計時間、分區(qū)等來對歷史數(shù)據(jù)更新。修改數(shù)據(jù)加工腳本重跑數(shù)據(jù)，任務重、成本高、風險大，特別是對于變更頻繁的統(tǒng)計維度數(shù)據(jù)，每一次數(shù)據(jù)變更都需要重復之前的操作。重跑歷史數(shù)據(jù)追溯可能是幾年前，重跑歷史數(shù)據(jù)任務執(zhí)行時間長，每修改一次數(shù)據(jù)加工腳本重啟任務執(zhí)行。每一次重跑數(shù)據(jù)，都需要針對所有的主題表(即用來生成寬表的數(shù)據(jù)表)數(shù)據(jù)進行計算，而各主題表是數(shù)據(jù)量非常的龐大，頻繁地重跑歷史數(shù)據(jù)，浪費服務器資源。

在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問題：

現(xiàn)有的寬表數(shù)據(jù)生成和更新方案使得在某些維度數(shù)據(jù)的變更時，需要修改數(shù)據(jù)加工腳本來更新已生成的寬表數(shù)據(jù)，任務重、成本高、風險大，且需要針對所有的主題表數(shù)據(jù)進行計算，重復操作過多，重復計算的數(shù)據(jù)量龐大，整體計算時間長，且浪費服務器資源。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供一種寬表數(shù)據(jù)的生成方法、更新方法和相關(guān)裝置，在更新已生成的寬表數(shù)據(jù)時，無需修改數(shù)據(jù)加工腳本且無需針對所有的主題表數(shù)據(jù)進行計算，克服任務重、成本高、風險大的缺陷，減少重復操作，大大減少了需重復計算的數(shù)據(jù)量，并且可以縮短整體計算時長，減少對服務器資源的浪費。

為實現(xiàn)上述目的，根據(jù)本發(fā)明實施例的一個方面，提供了一種寬表數(shù)據(jù)的生成方法。

一種寬表數(shù)據(jù)的生成方法，包括：根據(jù)各數(shù)據(jù)表中維度非動態(tài)更新的數(shù)據(jù)表得到源表，根據(jù)所述各數(shù)據(jù)表中維度動態(tài)更新的數(shù)據(jù)表得到維度數(shù)據(jù)表；按照配置的源表與匯總表之間的第一對應關(guān)系，根據(jù)所述源表的數(shù)據(jù)生成對應的所述匯總表；按照配置的匯總表、維度數(shù)據(jù)表的維度數(shù)據(jù)以及寬表之間的第二對應關(guān)系，根據(jù)所述匯總表和所述維度數(shù)據(jù)表的維度數(shù)據(jù)生成對應的寬表數(shù)據(jù)。

可選地，還包括預先配置所述第一對應關(guān)系和所述第二對應關(guān)系，其中：配置所述第一對應關(guān)系包括：配置匯總表以及生成該匯總表所需的各源表、所述各源表需抽取的字段、維度數(shù)據(jù)主鍵；配置所述第二對應關(guān)系包括：配置寬表以及生成該寬表所需的各匯總表、所述各匯總表需抽取的字段、所述各匯總表對應的所述維度數(shù)據(jù)主鍵。

可選地，所述源表的數(shù)據(jù)動態(tài)增加，所述匯總表包括一個或多個分區(qū)表；所述按照配置的源表與匯總表之間的第一對應關(guān)系，根據(jù)所述源表的數(shù)據(jù)生成對應的所述匯總表，包括：按照配置的所述各源表需抽取的字段，周期性地從所述各源表的新增數(shù)據(jù)中抽取數(shù)據(jù)，其中每一周期根據(jù)從所述新增數(shù)據(jù)中抽取的數(shù)據(jù)計算生成所述匯總表的一個分區(qū)表。

可選地，配置所述第二對應關(guān)系還包括配置所述各匯總表的動態(tài)分區(qū)信息；所述按照配置的匯總表、維度數(shù)據(jù)表的維度數(shù)據(jù)以及寬表之間的第二對應關(guān)系，根據(jù)所述匯總表和所述維度數(shù)據(jù)表的維度數(shù)據(jù)生成對應的寬表數(shù)據(jù)，包括：根據(jù)配置的所述動態(tài)分區(qū)信息，確定所述各匯總表需要使用的分區(qū)表；按照配置的所述各匯總表需抽取的字段，從所述各匯總表需要使用的分區(qū)表中抽取數(shù)據(jù)，按照所述維度數(shù)據(jù)表中的維度數(shù)據(jù)，對從各分區(qū)表中抽取的數(shù)據(jù)進行匯總，以生成對應的寬表數(shù)據(jù)。