[發明專利]一種大數據量的數據查詢方法

無效

• 申請號: 201210075512.5
• 申請日: 2012-03-21
• 公開（公告）號: CN102637206A
• 公開（公告）日: 2012-08-15
• 發明（設計）人: 王興山;岳現國
• 申請（專利權）人: 浪潮集團山東通用軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明屬于數據查詢統計技術領域，涉及一種大數據量的數據查詢方法。

背景技術

在集團型企業或單位，其組織結構非常復查，各機構涉及各種各樣的業務數據，所有機構的業務數據匯總，整個集團企業或者單位的業務數據量會非常龐大。當月度或者季度需要出報表或者平時因為其他原因需要對某些業務數據進行統計的時候，因為整個業務數據量非常龐大，所以其每次進行業務數據查詢或統計時，持續時間比較長，需要消耗很大的人力、物力，消耗資源會比較大。

目前，傳統的查詢和統計方式，一般都是直接從業務數據表中進行處理，然而直接從業務數據表中進行處理不僅影響應用系統的業務處理性能，數據查詢統計慢，需要花很長時間，而且其數據查詢和統計性能非常差，甚至出現數據查詢或者統計數據的偏差，最終導致數據查詢的結果受到影響，進而對企業或者單位的工作造成不良影響。

故，針對上述現有技術在大數據量的數據查詢方面存在的缺陷，實有必要進行研究，以提供一種大數據量的數據查詢方法，減少查詢的時間，降低數據查詢的資源消耗，提升查詢的效率和統計性能。

發明內容

為解決上述問題，本發明的目的在于提供一種大數據量的數據查詢方法。

為實現上述目的，本發明的技術方案為：

一種大數據量的數據查詢方法，包括如下步驟：

S10：定義增量數據捕獲方式；

S11：定義增量捕獲調度執行計劃；

S12：執行增量數據定期歸集；

S13：執行數據統計結果查詢。

進一步地，在步驟S10中，具體又包括：

S101：定義增量單元；

S102：定義增量包；

S103：啟用增量包并進行增量初始準備；

S104：增量訂閱。

進一步地，在步驟S101中，增量單元的結構包括有增量單元對應的數據表、增量的內容字段、數據表的主鍵字段、數據表的時間戳字段。

進一步地，在步驟S102中，所述增量包中需要指定增量數據的捕獲模式以及增量單元集合。

進一步地，所述增量包捕獲模式包括快照表模式、時間戳模式、觸發器模式、以及數據庫日志模式。

進一步地，在步驟S103中，根據增量單元的結構，創建增量數據表，增量數據表的結構除了包括增量單元對應的內容字段和主鍵字段，還包括時間戳字段。

進一步地，在步驟S11中，包括有：定義調度計劃，設置調度自動增量歸集的任務，并設置任務執行的頻率和時間周期以及相關的執行方式。

進一步地，在步驟S12中，定期執行增量數據歸集，其具體包括以下的步驟：

S120：根據步驟S10中定義的增量捕獲方式捕獲增量數據；

S121：把增量數據加載到步驟S103中創建的增量數據表中；

S122：根據步驟S10中增量訂閱的信息，生成增量數據同步到查詢中間結果表中的存儲過程；

S123：執行步驟S122中創建的存儲過程，創建查詢中間結果表，并把步驟S120中捕獲的增量數據同步到查詢中間結果表中。

本發明把復雜的數據統計查詢過程包分解成兩個過程，統計計算歸集和實時查詢；將統計計算歸集過程放在后臺運行，并且歸集過程只歸集增量數據，從而大大提高了大數據量統計查詢的執行效率。

附圖說明

圖1是本發明的數據查詢整體流程示意圖；

圖2是本發明的增量單元實體結構圖；

圖3是本發明的增量包實體結構示意圖；

圖4是本發明的增量實體結構關系示意圖；

圖５是本發明的增量捕獲規則設計的流程示意圖；

圖６是本發明的增量數據歸集的流程示意圖。

具體實施方式

為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本發明，并不用于限定本發明。