[發(fā)明專利]數(shù)據(jù)處理方法及設(shè)備

在審

• 申請?zhí)枺?/td>: 201210478394.2
• 申請日: 2012-11-22
• 公開（公告）號: CN103020146A
• 公開（公告）日: 2013-04-03
• 發(fā)明（設(shè)計）人: 譚紀輝;朱星;劉鵬
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京龍雙利達知識產(chǎn)權(quán)代理有限公司 11329
• 代理人: 王君;肖鸝

技術(shù)領(lǐng)域

本發(fā)明實施例涉及通信技術(shù)領(lǐng)域，并且更具體地，涉及數(shù)據(jù)處理方法及設(shè)備。

背景技術(shù)

OLAP（On-Line?Analytical?Processing，聯(lián)機分析處理）是BI（BusinessIntelligence，商業(yè)智能）領(lǐng)域中一個常用的技術(shù)，能夠全方位查詢、分析數(shù)據(jù)，通過OLAP報表將整體數(shù)據(jù)展現(xiàn)給用戶。但是，由于OLAP服務器處理的數(shù)據(jù)量非常大，性能成為OLAP技術(shù)推廣應用的瓶頸。

在現(xiàn)有的OLAP實現(xiàn)技術(shù)中，使用了內(nèi)存處理技術(shù)，即將數(shù)據(jù)庫中的數(shù)據(jù)預先存儲到內(nèi)存，在生成OLAP報表時，通過OLAP服務器直接從內(nèi)存查詢并讀取數(shù)據(jù)來提高性能。但是，在初始狀態(tài)時，將全部數(shù)據(jù)從數(shù)據(jù)庫加載到內(nèi)存的耗時長，影響用戶查詢數(shù)據(jù)，并且內(nèi)存配置的要求高，普通的服務器難以滿足。

發(fā)明內(nèi)容

本發(fā)明實施例提供一種數(shù)據(jù)處理方法及設(shè)備，能夠提高數(shù)據(jù)處理性能，并有效地降低硬件配置要求。

第一方面，提供了一種數(shù)據(jù)處理方法，該方法包括：根據(jù)數(shù)據(jù)的至少一個第一維度的信息在所述數(shù)據(jù)中確定熱點數(shù)據(jù)；根據(jù)所述熱點數(shù)據(jù)的至少一個第二維度的信息在數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)；將查詢到的所述熱點數(shù)據(jù)從所述數(shù)據(jù)庫加載到內(nèi)存。

結(jié)合第一方面，在第一種實現(xiàn)方式中，在所述根據(jù)所述熱點數(shù)據(jù)的至少一個第二維度的信息在數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)之前，具體實現(xiàn)可以為：生成緩存文件，所述緩存文件的內(nèi)容包括所述數(shù)據(jù)的至少一個第一維度的信息和至少一個第二維度的信息。

結(jié)合第一方面的第一種可能的實現(xiàn)方式，在第二種可能的實現(xiàn)方式中，具體實現(xiàn)可以為：所述緩存文件的內(nèi)容還包括所述數(shù)據(jù)是否已在內(nèi)存中的指示。

結(jié)合第一方面或第一方面的第一種可能的實現(xiàn)方式或第二種可能的實現(xiàn)方式，在第三種可能的實現(xiàn)方式中，具體實現(xiàn)可以為：對所述緩存文件的內(nèi)容進行更新。

結(jié)合第一方面的第三種可能的實現(xiàn)方式，在第四種可能的實現(xiàn)方式中，所述對所述緩存文件的內(nèi)容進行更新，具體實現(xiàn)可以為：根據(jù)用戶查詢的數(shù)據(jù)信息對所述緩存文件的內(nèi)容進行更新；或者根據(jù)統(tǒng)計的數(shù)據(jù)信息對所述緩存文件的內(nèi)容進行更新。

結(jié)合第一方面或第一方面的第一種可能的實現(xiàn)方式至第四種可能的實現(xiàn)方式的任一種方式，在第五種可能的實現(xiàn)方式中，所述根據(jù)所述熱點數(shù)據(jù)的至少一個第二維度的信息從數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)，將所述熱點數(shù)據(jù)的至少一個第二維度的信息解析為字段，生成結(jié)構(gòu)化查詢語言SQL語句；根據(jù)所述SQL語句從數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)。

結(jié)合第一方面或第一方面的第一種可能的實現(xiàn)方式至第五種可能的實現(xiàn)方式的任一種方式，在第六種可能的實現(xiàn)方式中，具體實現(xiàn)可以為：接收聯(lián)機分析處理OLAP服務器發(fā)送的用戶查詢的數(shù)據(jù)信息；根據(jù)所述用戶查詢的數(shù)據(jù)信息以及所述熱點數(shù)據(jù)的至少一個第二維度的信息判斷與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)是否在所述內(nèi)存中；如果判斷出所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)在所述內(nèi)存中，則在所述內(nèi)存中獲取所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)。

結(jié)合第一方面的第六種可能的實現(xiàn)方式的任一種方式，在第七種可能的實現(xiàn)方式中，具體實現(xiàn)可以為：將獲取的所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)發(fā)送給所述OLAP服務器，以便所述OLAP服務器根據(jù)所述與所述用戶查詢的數(shù)據(jù)信息相對應的數(shù)據(jù)生成OLAP報表，呈現(xiàn)給所述用戶。

第二方面，提供了數(shù)據(jù)處理設(shè)備，該設(shè)備包括：確定單元，用于根據(jù)數(shù)據(jù)的至少一個第一維度的信息在所述數(shù)據(jù)中確定熱點數(shù)據(jù)；查詢單元，用于根據(jù)所述確定單元確定的所述熱點數(shù)據(jù)的至少一個第二維度的信息在數(shù)據(jù)庫中查詢所述熱點數(shù)據(jù)；加載單元，用于將所述查詢單元查詢到的所述熱點數(shù)據(jù)從所述數(shù)據(jù)庫加載到內(nèi)存。

結(jié)合第二方面，在第一種可能的實現(xiàn)方式中。所述設(shè)備還包括：生成單元，用于生成緩存文件，所述緩存文件的內(nèi)容包括所述數(shù)據(jù)的至少一個第一維度的信息和至少一個第二維度的信息。

結(jié)合第二方面的第一種可能的實現(xiàn)方式，在第二種可能的實現(xiàn)方式中，所述生成單元還用于：根據(jù)所述數(shù)據(jù)的信息對所述緩存文件的內(nèi)容進行更新。

結(jié)合第二方面的第二種可能的實現(xiàn)方式，在第三種可能的實現(xiàn)方式中，所述生成單元具體用于：根據(jù)用戶查詢的數(shù)據(jù)信息對所述緩存文件的內(nèi)容進行更新；或者根據(jù)統(tǒng)計的數(shù)據(jù)信息對所述緩存文件的內(nèi)容進行更新。