[發明專利]數據表推數處理方法、裝置及電子設備

有效

• 申請號: 201710405068.1
• 申請日: 2017-05-31
• 公開（公告）號: CN107203633B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 李建星
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/2457
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 姜怡;黃玉霞

本申請涉及數據表推數處理方法、裝置及電子設備,方法包括：從接收數據表的目標系統中獲取調度任務依賴關系數據；根據所述調度任務依賴關系數據對待推數的數據表進行排序；按照排序結果將所述數據表推數到所述目標系統中。本申請的技術方案能夠提高推數效率，能減少對數據表使用不均衡的問題。

技術領域

本申請涉及數據處理技術領域，具體而言，涉及數據表推數處理方法、裝置及電子設備。

背景技術

目前，在企業內部建立統一數據倉庫后，由于業務應用需求不同，往往會建立多個不同業務條線的數據集市，數據集市就是企業級數據倉庫的一個子集，他主要面向部門級業務，并且只面向某個特定的主題。為了解決靈活性與性能之間的矛盾，數據集市就是數據倉庫體系結構中增加的一種小型的部門或工作組級別的數據倉庫。數據集市存儲為特定用戶預先計算好的數據，從而滿足用戶對性能的需求。數據集市可以在一定程度上緩解訪問數據倉庫的瓶頸。另外，基于數據集市而創建的子集稱為數據子集市，數據子集市主要面向細分業務部門或業務范圍的特定數據集合。較復雜的大型企業(如大型互聯網電商公司)，可能還會進一步細分為數據集市和數據子集市系統，便于管理和應用。

例如：某電商公司通過收集各業務系統數據后，建立統一的數據倉庫。由于業務發展快速各業務條線如營銷條線、運營條線等有不同的數據應用需求，為了便于管理和提升數據使用效率，提高系統性能等，會建立相應的數據集市，營銷數據集市、運營數據集市等。進一步的，還可以根據不同業務特點，再繼續細分數據子集市，如將運營數據集市細分為倉儲數據子集市、售后數據子集市、客服數據子集市等。

因此數據需要從生產系統抽取到數據倉庫，從數據倉庫流轉到數據集市，或者從數據集市流轉到數據子集市中。關于數據流轉實現方式，有兩種方式，其一是由各業務系統到數據倉庫的數據流轉，一般采用ETL方式(即抽取、轉換、加載)；另一種方式是從數據倉庫到數據集市、或者數據集市到數據子集市時，一般采用推數方式。這兩者的差異主要是ETL方式可能會對原始數據進行清洗、代碼轉義等數據內容操作，而推數方式只是將數據表不做任何處理直接同步到目標系統中。(推數時可以指定增量和全量，但是只對數據范圍進行限制，并不處理數據本身的內容)。本文主要討論的是推數方式下的數據流轉問題。

實際工作場景中，由于表數量眾多，推數過程中的順序是影響系統使用效率的一個重要因素。比如數據集市中有2000張表，假設按表的字母順序執行推數，如果目標系統的應用使用的表大多是排序中間和靠后的表，那么就需要等待很長時間才能執行后續依賴此表的任務，從而會影響系統使用效率。

現有的從數據倉庫到數據集市、或數據集市到數據子集市的推數過程中，并沒有考慮太多推數優先級策略，大多是通過人工經驗的方法安排表推數的順序。例如，訂單表和用戶注冊信息表等電商系統核心業務表，人工判斷是重要的表，因此優先級安排較高，其他表則沒有統一的規則和方法，可能是隨機安排順序進行推數。

企業中數據流轉的整體架構示意圖如圖1所示。從圖1中可以看到數據流轉主要有三部分，第1部分是從源系統1-N到數據倉庫，采用ETL方式。第2部分是從數據倉庫推數到數據集市1-N，第3部分從數據集市推數到數據子集市1-N。后兩種的數據流轉方式都是推數方式，是本發明技術方案要討論的重點。

并且，從架構上可以看出第2部分和第3部分其方式是一樣的，都是從一個主數據源環境推送到N個子數據環境，因此后文我們討論以圖1右上框中的“數據集市系統”部分為例，即從某一個數據集市推數到數據子集市1-N的過程中的推數優先級問題。