[發明專利]向維度表里導入數據的方法和裝置

在審

• 申請號: 201310541634.3
• 申請日: 2013-11-05
• 公開（公告）號: CN103559272A
• 公開（公告）日: 2014-02-05
• 發明（設計）人: 洪超
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 吳貴明;張永明

技術領域

本發明涉及數據庫領域，具體而言，涉及一種向維度表里導入數據的方法和裝置。

背景技術

隨著數據增長，很多公司都采用數據庫來做分析系統，在數據庫里有維度和指標。維度表用于保存某一個維度，如DimUrl保存的是Url的維度，用于在數據庫里從Url的角度對相關的指標（如訪問量，頁面瀏覽量）等進行分析。維度表邏輯上每一行都代表該維度的一個唯一記錄行，如Dimurl維度的每一記錄行都代表唯一的一個Url記錄。當數據倉庫的規模大到一定程度的時候，避免不了會出現大維度表的情況，而這些大維度表往往每天又有很多的記錄行需要進行導入，導入后也要保證大維度表的唯一性，這里就需要在大維度表導入記錄行的時候同時滿足兩個條件：1.快速導入；2.保證大維度表每條記錄的唯一性。

在用SSIS工具進行ETL（數據的抽取，轉換，加載過程）時，目前一般的大維度表導入采用的都是Lookup控件。在插入每一行記錄時，Lookup控件判斷其是否在大維度表里存在，若已經存在，則不插入，若不存在，則插入。這種方案是逐行導入的方案，效率很低。

針對相關技術中向大維度表中導入數據效率較低的問題，目前尚未提出有效的解決方案。

發明內容

本發明的主要目的在于提供一種向維度表里導入數據的方法和裝置，以解決現有技術中向大維度表中導入數據效率較低的問題。

為了實現上述目的，根據本發明的一個方面，提供了一種向維度表里導入數據的方法，包括：建立目標維度表的唯一索引，其中，目標維度表為數據庫中接收數據源數據的維度表；設置目標維度表的唯一索引的屬性為預設屬性，預設屬性表示數據源數據在目標維度表中已存在的情況下，不插入數據源數據，并且數據庫不報錯；以及將數據源數據導入目標維度表中。

進一步地，在將數據源數據導入目標維度表中之前，向維度表里導入數據的方法還包括：檢查數據源數據是否存在重復；以及如果檢查出數據源數據存在重復，刪除數據源數據的重復部分或從重復的數據源數據中選取任一數據源數據作為被導入數據。

進一步地，將數據源數據導入目標維度表中包括：將數據源數據導入到數據庫的臨時表中；建立臨時表的唯一索引；以及將臨時表中的數據導入到目標維度表中。

進一步地，在將數據源數據導入目標維度表中之前，向維度表里導入數據的方法還包括：計算每一個數據源數據的映射值，其中，映射值的長度小于對應的數據源數據的長度。

進一步地，映射值為哈希值。

進一步地，根據目標維度表的鍵值建立目標維度表的唯一索引。

為了實現上述目的，根據本發明的另一方面，提供了一種向維度表里導入數據的裝置，該裝置用于執行本發明上述內容所提供的任一種向維度表里導入數據的方法。

為了實現上述目的，根據本發明的另一方面，提供了一種向維度表里導入數據的裝置，包括：建立單元，用于建立目標維度表的唯一索引，其中，目標維度表為數據庫中接收數據源數據的維度表；設置單元，用于設置目標維度表的唯一索引的屬性為預設屬性，預設屬性表示數據源數據在目標維度表中已存在的情況下，不插入數據源數據，并且數據庫不報錯；以及導入單元，用于將數據源數據導入目標維度表中。

進一步地，向維度表里導入數據的裝置還包括：檢查單元，用于在將數據源數據導入目標維度表中之前，檢查數據源數據是否存在重復；以及處理單元，用于在檢查出數據源數據存在重復的情況下，刪除數據源數據的重復部分或從重復的數據源數據中選取任一數據源數據作為被導入數據。

進一步地，導入單元包括：第一導入子單元，用于將數據源數據導入到數據庫的臨時表中；建立子單元，用于建立臨時表的唯一索引；以及第二導入子單元，用于將臨時表中的數據導入到目標維度表中。

進一步地，向維度表里導入數據的裝置還包括：計算單元，用于計算每一個數據源數據的映射值，其中，映射值的長度小于對應的數據源數據的長度。

進一步地，計算單元使用哈希算法計算映射值。

進一步地，建立單元根據目標維度表的鍵值建立目標維度表的唯一索引。