[發明專利]用于將數據加載到時態數據倉庫的方法和系統

有效

• 申請號: 201280017308.6
• 申請日: 2012-03-02
• 公開（公告）號: CN103460208B
• 公開（公告）日: 2017-04-05
• 發明（設計）人: I·A·約翰遜
• 申請（專利權）人: 波音公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京紀凱知識產權代理有限公司11245
• 代理人: 趙蓉民

技術領域

本披露的領域一般涉及計算機數據倉庫（CDW），并且更具體涉及用于時態規格化數據倉庫的元數據驅動數據捕捉的方法和系統。

背景技術

存在不借助于順序法的用單個通用設計的進入數據的快速加載和時間序列變化量的需要。順序法一般不是用于初始化和與較高量進入數據事件一起使用的有效措施。另外，具有無關于接口類型，有時減少檢測在數據內的變動的密集預處理，和/或確保唯一有效時限以使得能夠為每個目標表格產生候選行的加載設定的需要。最終，因為與數據存儲關聯的成本，所以具有識別所有類型的數據變動并避免在授權時間戳（有效時間）之后加載沒有新內容的新數據行。這樣的實踐可以通過在時限內壓縮連續重復行的數據幫助減少存儲使用。

當前，通常在大型外部應用服務器上運行的復雜定制數據加載程序是已在加載時態數據倉庫的嘗試中實施的解決方案。這樣的程序通過主關鍵字串行處理并應用數據，這可以導致長運行時間和昂貴的、對目標表格相對干擾的更新。在一些實例中，為連續支持用戶，兩組目標表格使用并在加載完成時交換。然而在這樣的系統中，通常已在數據庫中的一些數據移除，與進入數據一起在應用服務器上外部處理并且重加載從而實現數據加載，這對網絡和數據庫進一步施壓。其他已知現有解決方案也僅趨向于預期的解決方案而不是所有可能解決方案，在未預期情況（例如在主關鍵字內的有效時間連接點（time?tie））下破壞、放棄加載或拒絕數據。

其他已設想解決方案一般具有其他缺點。例如，由于開發成本，因此被硬編碼從而接受特別類型進入數據并且提取目標模式（schemas）的設計是不希望的。進一步地，維護成本可以關于尋址主關鍵字或屬性何時改變成接口的數據源、數據目標或方法。提取、變換和加載（ETL）工具用來在服務器上數據庫之外執行工作是一個可能的解決方案，但低效并可以受網絡流量影響。當使用在由數據倉庫廣泛使用的大規模并行處理（MPP）架構上使用外部的或每次一行的解決方案時，在已設想解決方案中效率損失是特別巨大的。同樣，私有數據庫工具需要專門知識并且不可移植到其他平臺（例如Oracle?PL/SQL）。這些解決方案對于可以近實時提出的較大量數據是低效的，不可能非侵入加載并且為初始化或大量數據需要不同編碼以實現可接受的性能。

發明內容

在一個方面中，提供用于將進入數據集加載到時態數據倉庫（temporal?data?warehouse）的系統。該系統包括存儲裝置和耦合到存儲裝置的處理器單元。存儲裝置包括時態數據倉庫和進入數據集。處理器單元經編程將進入數據集劃分為包括第一分區和第二分區的多個分區（partition）。多個分區中的每個分區包括多個數據記錄。處理器也經編程將第一分區輸入到預加載表、將第二分區輸入到預加載表并將預加載表應用到時態數據倉庫。

在另一方面中，提供用于將進入數據集加載到時態數據倉庫的方法。該方法包括由計算裝置將數據記錄劃分為包括第一分區和第二分區的多個分區。第一分區和第二分區由計算裝置輸入到預加載表。預加載表由計算裝置應用到時態數據倉庫。

在更另一方面中，提供計算機程序產品。計算機程序產品包括非暫時性計算機可讀介質，其具有在其上實施的用于以凈變化數據（net?change?data）加載到數據倉庫的計算機可執行指令。當由至少一個處理器執行時，計算機可執行指令導致處理器將進入數據集劃分為包括第一分區和第二分區的多個分區。多個分區中的每個分區包括多個數據記錄。計算機可執行指令也導致將第一分區輸入到預加載表、將第二分區輸入到預加載表并將預加載表應用到數據倉庫。

附圖說明

圖1是計算機系統的簡化框圖。

圖2是計算機網絡的框圖。

圖3是圖解示范變動數據捕捉過程的流程圖。

圖4是圖解示范分區加載過程的流程圖。

圖5是圖解示范數據應用過程的流程圖。

圖6是與在圖4中示出的步驟100關聯的數據流圖。

圖7是與在圖4中示出的步驟101關聯的數據流圖。

圖8是與在圖4中示出的步驟102關聯的數據流圖。

圖9是與在圖4中示出的步驟103關聯的數據流圖。

圖10是與在圖4中示出的步驟104關聯的數據流圖。

圖11是與在圖4中示出的步驟105關聯的數據流圖。

圖12是與在圖4中示出的步驟106關聯的數據流圖。

圖13是與在圖4中示出的步驟107關聯的數據流圖。