[發(fā)明專利]企業(yè)級數(shù)據(jù)倉庫系統(tǒng)的樣本數(shù)據(jù)獲取方法及裝置

有效

• 申請?zhí)枺?/td>: 201010611704.4
• 申請日: 2010-12-28
• 公開（公告）號: CN102073698A
• 公開（公告）日: 2011-05-25
• 發(fā)明（設計）人: 金雁峰;鄔敏煒;黃兆斌;馬雯瑾
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 任默聞

1.一種企業(yè)級數(shù)據(jù)倉庫系統(tǒng)的樣本數(shù)據(jù)獲取方法，其特征在于，所述的方法包括：

解析企業(yè)級數(shù)據(jù)倉庫系統(tǒng)的包括模型關(guān)聯(lián)關(guān)系信息的邏輯模型信息，以獲取所述的模型關(guān)聯(lián)關(guān)系信息；

根據(jù)所述的模型關(guān)聯(lián)關(guān)系信息生成樣本數(shù)據(jù)抽取配置信息；

根據(jù)所述的樣本數(shù)據(jù)抽取配置信息、以及預先設置的抽取參數(shù)生成全量抽取腳本；

對所述的全量抽取腳本進行迭代運算以確定全量抽取腳本調(diào)度的依賴關(guān)系；

根據(jù)所述的依賴關(guān)系生成基于有向圖數(shù)據(jù)結(jié)構(gòu)的調(diào)度文件；

根據(jù)所述的調(diào)度文件并行調(diào)度所述的全量抽取腳本以獲取樣本數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述的調(diào)度文件并行調(diào)度所述的全量抽取腳本以獲取樣本數(shù)據(jù)之后，所述的方法還包括：

如果獲取樣本數(shù)據(jù)失敗，則記錄失敗信息；

根據(jù)所述的失敗信息重新生成全量抽取腳本；

對所述重新生成的全量抽取腳本進行迭代運算以確定新的依賴關(guān)系；

根據(jù)所述新的依賴關(guān)系生成基于有向圖數(shù)據(jù)結(jié)構(gòu)的新調(diào)度文件；

根據(jù)所述新調(diào)度文件并行調(diào)度所述重新生成的全量抽取腳本以重新獲取樣本數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，解析企業(yè)級數(shù)據(jù)倉庫系統(tǒng)的包括模型關(guān)聯(lián)關(guān)系信息的邏輯模型信息之后，所述的方法還包括：

查找符合預定規(guī)則的模型主題；

根據(jù)所述符合預定規(guī)則的模型主題獲取相應的物理表。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述的樣本數(shù)據(jù)抽取配置信息、以及預先設置的抽取參數(shù)生成全量抽取腳本包括：

根據(jù)所述預先設置的抽取參數(shù)確定所述物理表的樣本抽取邏輯；

結(jié)合所述的樣本數(shù)據(jù)抽取配置信息和所述物理表的樣本抽取邏輯生成所述的全量抽取腳本。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述的模型關(guān)聯(lián)關(guān)系信息生成樣本數(shù)據(jù)抽取配置信息包括：

根據(jù)所述的模型關(guān)聯(lián)關(guān)系信息對業(yè)務實體進行分類；

根據(jù)分類的業(yè)務實體分別生成樣本數(shù)據(jù)抽取配置信息。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，根據(jù)所述的調(diào)度文件并行調(diào)度所述的全量抽取腳本以獲取樣本數(shù)據(jù)包括：

根據(jù)不同的模型主題分別配置調(diào)度規(guī)則；

根據(jù)所述的調(diào)度文件結(jié)合所述的調(diào)度規(guī)則并行調(diào)度所述的全量抽取腳本以獲取樣本數(shù)據(jù)。

7.一種企業(yè)級數(shù)據(jù)倉庫系統(tǒng)的樣本數(shù)據(jù)獲取裝置，其特征在于，所述的裝置包括：

邏輯模型信息解析單元，用于解析企業(yè)級數(shù)據(jù)倉庫系統(tǒng)的包括模型關(guān)聯(lián)關(guān)系信息的邏輯模型信息，以獲取所述的模型關(guān)聯(lián)關(guān)系信息；

配置信息生成單元，用于根據(jù)所述的模型關(guān)聯(lián)關(guān)系信息生成樣本數(shù)據(jù)抽取配置信息；

抽取腳本生成單元，用于根據(jù)所述的樣本數(shù)據(jù)抽取配置信息、以及預先設置的抽取參數(shù)生成全量抽取腳本；

依賴關(guān)系確定單元，用于對所述的全量抽取腳本進行迭代運算以確定全量抽取腳本調(diào)度的依賴關(guān)系；

調(diào)度文件生成單元，用于根據(jù)所述的依賴關(guān)系生成基于有向圖數(shù)據(jù)結(jié)構(gòu)的調(diào)度文件；

樣本數(shù)據(jù)獲取單元，用于根據(jù)所述的調(diào)度文件并行調(diào)度所述的全量抽取腳本以獲取樣本數(shù)據(jù)。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述的裝置還包括：

失敗信息記錄單元，用于在獲取樣本數(shù)據(jù)失敗時，記錄失敗信息；

新抽取腳本生成單元，用于根據(jù)所述的失敗信息重新生成全量抽取腳本；

新依賴關(guān)系確定單元，用于對所述重新生成的全量抽取腳本進行迭代運算以確定新的依賴關(guān)系；

新調(diào)度文件生成單元，用于根據(jù)所述新的依賴關(guān)系生成基于有向圖數(shù)據(jù)結(jié)構(gòu)的新調(diào)度文件；

新樣本數(shù)據(jù)獲取單元，根據(jù)所述新調(diào)度文件并行調(diào)度所述重新生成的全量抽取腳本以重新獲取樣本數(shù)據(jù)。

9.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述的裝置還包括：

模型主題查找單元，用于在解析所述的邏輯模型信息之后，查找符合預定規(guī)則的模型主題；

物理表獲取單元，用于根據(jù)所述符合預定規(guī)則的模型主題獲取相應的物理表。