[發(fā)明專利]一種數(shù)據(jù)處理方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201210571950.0
• 申請日: 2012-12-25
• 公開（公告）號: CN103902544B
• 公開（公告）日: 2017-11-21
• 發(fā)明（設(shè)計(jì)）人: 錢嶺;郭磊濤;張寶海
• 申請（專利權(quán)）人: 中國移動通信集團(tuán)公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京鑫媛睿博知識產(chǎn)權(quán)代理有限公司11297
• 代理人: 龔家驊

1.一種數(shù)據(jù)處理方法，其特征在于，該方法包括：

根據(jù)至少2個(gè)不同級別的分區(qū)鍵，創(chuàng)建元數(shù)據(jù)模型，元數(shù)據(jù)模型中定義的每個(gè)數(shù)據(jù)分區(qū)至少包含除分區(qū)鍵所在的數(shù)據(jù)列以外的所有數(shù)據(jù)列；

接收到原始數(shù)據(jù)后，根據(jù)所述元數(shù)據(jù)模型對所述原始數(shù)據(jù)進(jìn)行分區(qū)處理；

按照級別從高到低的順序，依次使用分區(qū)鍵對所述原始數(shù)據(jù)進(jìn)行分區(qū)處理；其中，每次進(jìn)行分區(qū)處理時(shí)所針對的數(shù)據(jù)，為上一次分區(qū)處理得到的數(shù)據(jù)分區(qū)，使用最高級別的分區(qū)鍵進(jìn)行分區(qū)處理時(shí)所針對的數(shù)據(jù)，為所述原始數(shù)據(jù)，分區(qū)處理后得到的數(shù)據(jù)實(shí)體中包含除分區(qū)鍵所在的數(shù)據(jù)列以外的所有數(shù)據(jù)列。

2.如權(quán)利要求1所述的方法，其特征在于，根據(jù)至少2個(gè)不同級別的分區(qū)鍵，創(chuàng)建元數(shù)據(jù)模型，具體包括：

根據(jù)所述至少2個(gè)不同級別的分區(qū)鍵，建立樹形結(jié)構(gòu)的元數(shù)據(jù)模型，每個(gè)分區(qū)鍵對應(yīng)所述樹形結(jié)構(gòu)中的一個(gè)樹狀層次，且從根節(jié)點(diǎn)到葉子節(jié)點(diǎn)，每個(gè)樹狀層次所對應(yīng)的分區(qū)鍵級別依次降低，所述樹形結(jié)構(gòu)中的各節(jié)點(diǎn)存儲有相應(yīng)分區(qū)信息。

3.如權(quán)利要求1所述的方法，其特征在于，根據(jù)所述元數(shù)據(jù)模型對所述原始數(shù)據(jù)進(jìn)行分區(qū)處理，具體包括：

如果分區(qū)處理得到的數(shù)據(jù)實(shí)體的數(shù)據(jù)量小于設(shè)定閾值，則將數(shù)據(jù)量小于設(shè)定閾值的數(shù)據(jù)實(shí)體進(jìn)行合并處理并存儲，并根據(jù)合并處理操作，更新元數(shù)據(jù)模型。

4.如權(quán)利要求1所述的方法，其特征在于，該方法還包括：

接收到數(shù)據(jù)查詢請求后，根據(jù)所述請求中攜帶的查詢條件，通過查詢所述元數(shù)據(jù)模型，確定出需要掃描的數(shù)據(jù)分區(qū)，根據(jù)需要掃描的數(shù)據(jù)分區(qū)確定出對應(yīng)的數(shù)據(jù)實(shí)體；

根據(jù)所述數(shù)據(jù)查詢條件，對需要掃描的數(shù)據(jù)分區(qū)所對應(yīng)的數(shù)據(jù)實(shí)體進(jìn)行掃描，得到符合查詢條件的數(shù)據(jù)并返回。

5.一種數(shù)據(jù)處理系統(tǒng)，其特征在于，包括：

控制模塊，用于根據(jù)至少2個(gè)不同級別的分區(qū)鍵，創(chuàng)建元數(shù)據(jù)模型，并將創(chuàng)建的元數(shù)據(jù)模型存儲到元數(shù)據(jù)管理模塊；所述元數(shù)據(jù)模型中定義的每個(gè)數(shù)據(jù)分區(qū)至少包含除分區(qū)鍵所在的數(shù)據(jù)列以外的所有數(shù)據(jù)列；

元數(shù)據(jù)管理模塊，用于存儲和維護(hù)元數(shù)據(jù)模型；

數(shù)據(jù)處理模塊，用于在接收到原始數(shù)據(jù)后，根據(jù)所述元數(shù)據(jù)管理模塊中的元數(shù)據(jù)模型，對所述原始數(shù)據(jù)進(jìn)行分區(qū)處理；

所述數(shù)據(jù)處理模塊具體用于，按照級別從高到低的順序，依次使用分區(qū)鍵對所述原始數(shù)據(jù)進(jìn)行分區(qū)處理；其中，每次進(jìn)行分區(qū)處理時(shí)所針對的數(shù)據(jù)，為上一次分區(qū)處理得到的數(shù)據(jù)分區(qū)，使用最高級別的分區(qū)鍵進(jìn)行分區(qū)處理時(shí)所針對的數(shù)據(jù)，為所述原始數(shù)據(jù)，分區(qū)處理后得到的數(shù)據(jù)實(shí)體中包含除分區(qū)鍵所在的數(shù)據(jù)列以外的所有數(shù)據(jù)列。

6.如權(quán)利要求5所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述控制模塊具體用于，根據(jù)所述至少2個(gè)不同級別的分區(qū)鍵，建立樹形結(jié)構(gòu)的元數(shù)據(jù)模型，每個(gè)分區(qū)鍵對應(yīng)所述樹形結(jié)構(gòu)中的一個(gè)樹狀層次，且從根節(jié)點(diǎn)到葉子節(jié)點(diǎn)，每個(gè)樹狀層次所對應(yīng)的分區(qū)鍵級別依次降低，所述樹形結(jié)構(gòu)中的各節(jié)點(diǎn)存儲有相應(yīng)分區(qū)信息。

7.如權(quán)利要求5所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述數(shù)據(jù)處理模塊具體用于，如果分區(qū)處理得到的數(shù)據(jù)實(shí)體的數(shù)據(jù)量小于設(shè)定閾值，則將數(shù)據(jù)量小于設(shè)定閾值的數(shù)據(jù)實(shí)體進(jìn)行合并處理并存儲，并根據(jù)合并處理操作，更新所述元數(shù)據(jù)管理模塊中的元數(shù)據(jù)模型。

8.如權(quán)利要求5所述的數(shù)據(jù)處理系統(tǒng)，其特征在于，所述控制模塊還用于，接收到數(shù)據(jù)查詢請求后，根據(jù)所述請求中攜帶的查詢條件，通過查詢所述元數(shù)據(jù)管理模塊中的元數(shù)據(jù)模型，確定出需要掃描的數(shù)據(jù)分區(qū)，根據(jù)需要掃描的數(shù)據(jù)分區(qū)確定出對應(yīng)的數(shù)據(jù)實(shí)體；根據(jù)所述數(shù)據(jù)查詢條件，對需要掃描的數(shù)據(jù)分區(qū)所對應(yīng)的數(shù)據(jù)實(shí)體進(jìn)行掃描，得到符合查詢條件的數(shù)據(jù)并返回；或者

所述控制模塊還用于接收到數(shù)據(jù)查詢請求后，根據(jù)所述請求中攜帶的查詢條件，通過查詢所述元數(shù)據(jù)管理模塊中的元數(shù)據(jù)模型，確定出需要掃描的數(shù)據(jù)分區(qū)，根據(jù)需要掃描的數(shù)據(jù)分區(qū)確定出對應(yīng)的數(shù)據(jù)實(shí)體；所述數(shù)據(jù)處理模塊還用于，根據(jù)所述數(shù)據(jù)查詢條件，對需要掃描的數(shù)據(jù)分區(qū)所對應(yīng)的數(shù)據(jù)實(shí)體進(jìn)行掃描，得到符合查詢條件的數(shù)據(jù)，并通過所述控制模塊返回所述符合查詢條件的數(shù)據(jù)。