[發明專利]一種寬表數據的生成方法、更新方法和相關裝置

在審

• 申請號: 202010148063.7
• 申請日: 2020-03-05
• 公開（公告）號: CN113360494A
• 公開（公告）日: 2021-09-07
• 發明（設計）人: 吳帥
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2455
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李陽;郭晗

1.一種寬表數據的生成方法，其特征在于，包括：

根據各數據表中維度非動態更新的數據表得到源表，根據所述各數據表中維度動態更新的數據表得到維度數據表；

按照配置的源表與匯總表之間的第一對應關系，根據所述源表的數據生成對應的所述匯總表；

按照配置的匯總表、維度數據表的維度數據以及寬表之間的第二對應關系，根據所述匯總表和所述維度數據表的維度數據生成對應的寬表數據。

2.根據權利要求1所述的方法，其特征在于，還包括預先配置所述第一對應關系和所述第二對應關系，其中：

配置所述第一對應關系包括：配置匯總表以及生成該匯總表所需的各源表、所述各源表需抽取的字段、維度數據主鍵；

配置所述第二對應關系包括：配置寬表以及生成該寬表所需的各匯總表、所述各匯總表需抽取的字段、所述各匯總表對應的所述維度數據主鍵。

3.根據權利要求2所述的方法，其特征在于，所述源表的數據動態增加，所述匯總表包括一個或多個分區表；

所述按照配置的源表與匯總表之間的第一對應關系，根據所述源表的數據生成對應的所述匯總表，包括：

按照配置的所述各源表需抽取的字段，周期性地從所述各源表的新增數據中抽取數據，其中每一周期根據從所述新增數據中抽取的數據計算生成所述匯總表的一個分區表。

4.根據權利要求2所述的方法，其特征在于，配置所述第二對應關系還包括配置所述各匯總表的動態分區信息；

所述按照配置的匯總表、維度數據表的維度數據以及寬表之間的第二對應關系，根據所述匯總表和所述維度數據表的維度數據生成對應的寬表數據，包括：

根據配置的所述動態分區信息，確定所述各匯總表需要使用的分區表；

按照配置的所述各匯總表需抽取的字段，從所述各匯總表需要使用的分區表中抽取數據，按照所述維度數據表中的維度數據，對從各分區表中抽取的數據進行匯總，以生成對應的寬表數據。

5.一種根據權利要求1至4中任一項生成的寬表數據的更新方法，其特征在于，包括：

在所述維度數據表的維度數據更新的情況下，按照所述配置的匯總表、維度數據表的維度數據以及寬表之間的第二對應關系，根據所述匯總表和所述維度數據表的更新后維度數據，更新對應的寬表數據。

6.根據權利要求5所述的方法，其特征在于，所述按照所述配置的匯總表、維度數據表的維度數據以及寬表之間的第二對應關系，根據所述匯總表和所述維度數據表的更新后維度數據，更新對應的寬表數據，包括：

根據所述第二對應關系確定所述匯總表與所述寬表之間的依賴關系，其中，如果一個所述寬表數據基于一個所述匯總表生成，則所述依賴關系為單依賴；如果一個所述寬表數據基于多個所述匯總表生成，則所述依賴關系為多依賴；

對于與各所述寬表單依賴的各個匯總表，按照所述維度數據表的更新后維度數據并行執行匯總運算，以得到更新后的各寬表數據；

對于與各所述寬表多依賴的各個匯總表，將其中對應每一寬表的匯總表按照最小計算粒度分組，將得到的所有分組去重后，按照所述維度數據表的更新后維度數據，并行對去重后的各分組的匯總表進行第一匯總，并將各所述第一匯總結果分別保存在與所述各分組對應的緩存表中，按照各寬表對應的匯總表所在的分組分別獲取相應的緩存表，并行對各寬表對應的所述緩存表進行第二匯總，以得到更新后的各寬表數據。

7.一種寬表數據的生成裝置，其特征在于，包括：

數據表抽取模塊，用于根據各數據表中維度非動態更新的數據表得到源表，根據所述各數據表中維度動態更新的數據表得到維度數據表；

匯總表生成模塊，用于按照配置的源表與匯總表之間的第一對應關系，根據所述源表的數據生成對應的所述匯總表；

寬表數據生成模塊，用于按照配置的匯總表、維度數據表的維度數據以及寬表之間的第二對應關系，根據所述匯總表和所述維度數據表的維度數據生成對應的寬表數據。