[發明專利]用于進行數據處理的方法及裝置

有效

• 申請號: 201711275212.0
• 申請日: 2017-12-06
• 公開（公告）號: CN110019397B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 郭雪茹
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/28;G06F16/22;G06F16/25
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 闞梓瑄;王衛忠

1.一種用于進行數據處理的方法，其特征在于，包括：

根據業務需求指標獲取基礎數據；

通過梯度建模法對所述基礎數據進行加工，生成寬表數據，所述寬表數據包括多維度數據；

為所述寬表數據配置指標與維度屬性生成元數據，所述元數據為寬表的數據結構；以及

將所述元數據進行發布處理，生成發布數據；

根據待分析的展示維度與所述發布數據，實時生成即席查詢報表數據。

2.如權利要求1所述的方法，其特征在于，所述通過梯度建模法對所述基礎數據進行加工，生成寬表數據，包括：

根據業務主題分別獲取基礎數據中的細粒度數據，所述細粒度數據包括流量數據，訂單數據，庫存數據；以及

將所述細粒度數據以梯度形式儲存在寬表中生成所述寬表數據。

3.如權利要求2所述的方法，其特征在于，根據業務主題將所述基礎數據進行輕量級的數據加工。

4.如權利要求2所述的方法，其特征在于，還包括：

為每一個業務主題分別創建共同維度，所述共同維度包括庫存量單位維度；以及

通過所述共同維度與維度擴展信息生成維度數據，所述維度擴展信息包括品類標識與品類名稱。

5.如權利要求2所述的方法，其特征在于，還包括：

將所述寬表數據推送到Presto集群進行數據儲存；以及

將所述寬表數據的結構字典信息儲存到MYSQL數據庫。

6.如權利要求1所述的方法，其特征在于，所述為所述寬表數據配置指標與維度屬性生成元數據，包括：

將所述寬表數據按照預設指標進行剔重處理，生成篩選數據；以及

為所述篩選數據配置指標與維度屬性生成所述元數據。

7.如權利要求1所述的方法，其特征在于，根據指定維度與所述發布數據，實時生成即席查詢報表數據，包括：

接收來自用戶的展示維度；

根據所述展示維度對所述元數據的字段信息進行篩選處理；以及

通過篩選處理結果生成即席查詢報表數據。

8.如權利要求7所述的方法，其特征在于，所述通過篩選處理結果生成即席查詢報表數據，包括：

根據所述展示維度實時構造查詢數據的SQL語句；

在Presto集群中執行SQL查詢；以及

通過SQL查詢的結果生成所述即席查詢報表數據。

9.如權利要求8所述的方法，其特征在于，所述在Presto集群中執行SQL查詢，包括：

通過JAVA數據庫連接鏈接到Presto集群；以及

在所述Presto集群中執行SQL查詢。

10.一種用于進行數據處理的裝置，其特征在于，包括：

數據模塊，用于根據業務需求指標獲取基礎數據；

寬表模塊，用于通過梯度建模法對所述基礎數據進行加工，生成寬表數據，所述寬表數據包括多維度數據；

配置模塊，用于為所述寬表數據配置指標與維度屬性生成元數據，所述元數據為寬表的數據結構；以及

發布模塊，用于將所述元數據進行發布處理，生成發布數據；

查詢模塊，用于根據待分析的展示維度與所述發布數據，實時生成即席查詢報表數據。

11.一種電子設備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-9中任一所述的方法。

12.一種計算機可讀介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現如權利要求1-9中任一所述的方法。