[發明專利]基于值?列映射的通用單字段拆分數據抽取方法和裝置

有效

• 申請號: 201410536559.6
• 申請日: 2014-10-13
• 公開（公告）號: CN104239580B
• 公開（公告）日: 2017-06-27
• 發明（設計）人: 徐武平;徐愛萍
• 申請（專利權）人: 武漢大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙)42222
• 代理人: 張火春

技術領域

本發明涉及計算機數據倉庫領域ETL技術，尤其涉及一種基于值-列映射的通用單字段拆分數據抽取方法和裝置。

背景技術

當今的信息技術在軟硬件領域、Internet和企業內部網解決方案以及數據庫方面提供了許多經濟高效的計算資源，可以保存大量的數據供分析使用。企業的數據處理大致分為兩類：一類是操作型處理，也稱為聯機事務處理，它是針對具體業務在數據庫聯機的日常操作，通常對少數記錄進行查詢、修改。另一類是分析型處理，一般針對某些主題的歷史數據進行分析，支持管理決策。

數據倉庫是為企業的決策制定過程提供支持的所有類型數據的戰略集合。為了實現管理決策任務，會將操作型數據轉化為分析型數據。這種把數據從各種各樣的存儲方式中拿出來，進行必要的轉化、整理，再以一定的數據模型存放到數據倉庫內的技術稱為數據抽取技術。在數據倉庫領域中對各種不同數據存儲方式的訪問、抽取能力是數據抽取工具的關鍵技術。

ETL即數據抽取(Extract)、轉換(Transform)、裝載(Load)的過程。它是構建數據倉庫的重要環節。本發明尤其涉及一種通用的數據抽取、單字段拆分轉換技術。

ETL實質上是一類數據轉換器，提供一種從源到目標系統轉換數據的方法。即從操作型系統提取、清洗并轉換數據，然后將數據載入決策支持系統的操作型數據存儲、數據倉庫或數據集市中。具體功能針對不同的數據源編寫不同的數據抽取、轉換和加載程序處理，完成數據集成的大部分工作。

ETL在數據倉庫和業務系統之間搭建起一座橋梁，確保新的業務數據源源不斷地進入數據倉庫；其中最復雜之處在于其涉及到大量的業務邏輯和異構環境，因此在一般數據倉庫項目中ETL部分是一難度較大的環節，其主要難點在于數據的清洗轉換，包括：字段映射、映射的自動匹配、字段的拆分、多字段的混合運算、記錄間合并或計算、記錄拆分等等。

發明內容

本發明提出了一種基于值-列映射的通用單字段拆分抽取技術，能夠將源數據表中某個行字段的數據拆分到目的表的若干個列字段中。

本發明的技術方案是：基于值-列映射的通用單字段拆分數據抽取方法，包括如下步驟：

步驟1：構建拆分配置表；

步驟1.1對字段拆分適用對象進行配置；

步驟1.11選擇配置表的源數據庫DB_S和源數據表S；

步驟1.12分別設置源數據表S的描述字段F1、F2、F3、…、拆分字段V、數據說明字段K；

步驟1.13選擇配置表的目的數據庫DB_D和目的表D；

步驟1.14設置目的表描述字段序列X1、X2、X3、…，及其與源數據表S的描述字段F1、F2、F3、…的對應關系；

步驟1.2對值-列映射關系的數據結構進行配置；將源數據表S中字段K的所有取值K₁，K₂，K₃，…，K_i與目的表D中的數據字段V₁、V₂、V₃、…、V_j之間建立一一映射關系，表示為M＝{(Ki,Vj)}，其中Ki表示字段K中的第i個數值，Vj表示目的表D中的第j個字段；

步驟2：讀取配置表中的配置信息完成數據的抽取與轉換；

步驟2.1按照配置表中定義的源數據庫DB_S和源數據表S，連接數據庫DB_S，并從源數據表S中抽取所有數據行，設為數據集R；

步驟2.2按照配置表中定義的目的數據庫DB_D和目的數據表D，連接數據庫DB_D；

步驟2.3從配置表中讀取拆分值-列映射關系集合M；

步驟2.4對被抽取數據集合R中的每一行r執行如下操作：

2.41在值-列映射集合M中查找K_i等于r行字段K當前數值的值-列映射V_j；

2.42在目的數據庫DB_D的目的數據表D中查詢描述字段X1、X2、X3、…和表S中描述字段F1、F2、F3、…具有相同數值的數據行。

2.43如果2.42的查詢結果為空，則執行2.44插入新數據，否則執行2.45更新原有數據；