[發明專利]一種云計算環境下的數據在線聚集方法

有效

• 申請號: 201410015579.9
• 申請日: 2014-01-13
• 公開（公告）號: CN103699696B
• 公開（公告）日: 2017-01-18
• 發明（設計）人: 孟小峰
• 申請（專利權）人: 中國人民大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京紀凱知識產權代理有限公司11245
• 代理人: 徐寧,關暢

1.一種云計算環境下的數據在線聚集方法，其包括以下步驟：

1）在線聚集系統中，在應用接口層設置SQL接口模塊和結果顯示模塊，在查詢處理層設置語法分析模塊和MapReduce在線化執行計劃模塊，在在線聚集處理層設置數據采樣模塊、聚集結果估算模塊和置信區間計算模塊，在數據存儲層設置若干數據存儲器；

2）在應用接口層，SQL接口模塊根據用戶需求設定SQL查詢語句Q，并將查詢語句Q傳輸至查詢處理層；

3）語法分析模塊對接收到的查詢語句Q進行解析，并將解析結果傳輸至MapReduce在線化執行計劃模塊；解析結果包括查詢語句Q所涉及的數據、查詢謂詞、聚集操作類型以及查詢語句Q是針對單表還是多表的查詢；

如果查詢語句Q是針對單表的查詢，則MapReduce在線化執行計劃模塊啟動一個MapReduce作業，執行步驟4）；如果查詢語句Q是針對多表的查詢，則MapReduce在線化執行計劃模塊啟動兩個MapReduce作業，執行步驟5）；MapReduce在線化執行計劃模塊將啟動的MapReduce作業傳輸至在線聚集處理層；

4）在線聚集處理層對數據存儲層的數據進行采樣，在線聚集處理層根據采樣數據對接收到的一個MapReduce作業進行處理，并將處理結果傳輸至應用接口層進行顯示；

5）在線聚集處理層對數據存儲層的數據進行采樣，在線聚集處理層根據采樣數據對接收到的兩個MapReduce作業進行處理，并將處理結果傳輸至應用接口層進行顯示。

2.如權利要求1所述的一種云計算環境下的數據在線聚集方法，其特征在于：所述步驟4）中，在線聚集處理層根據采樣數據對接收到的一個MapReduce作業進行處理，其包括以下步驟：

（1）利用簡單隨機采樣方法，數據采樣模塊對數據存儲器中的源數據進行塊級別的隨機采樣，采樣得到的數據塊傳輸至MapReduce作業計算模塊中；

（2）MapReduce作業計算模塊對接收到的數據塊進行計算，得到采樣數據塊中變量的標準差σ_n和統計函數exp_p(B_i)，并將標準差σ_n和統計函數exp_p(B_i)分別傳輸至置信區間計算模塊和聚集結果估算模塊；

（3）根據接收到的統計函數exp_p(B_i)，聚集結果估算模塊利用式

μ~blk=1nBΣi=1nΣj=1BXij=1nΣi=1nΣj=1B|R|expp(tij)B=1nΣi=1nN*expp(Bi),]]>

計算得到聚集結果并傳輸至置信區間計算模塊；

式中，B為獨立的數據塊的大小，n為大小為B的獨立的數據塊的個數，|R|為表R包含的元組數，t_ij表示數據塊i中的第j條元組，|R|*exp_p(t_ij)表示隨機變量；

（4）置信區間計算模塊根據接收到的聚集結果和置信區間寬度ε_n，計算得到聚集結果的100p%置信區間為ε_n為置信度為100p%時的置信區間寬度；

（5）重復步驟（1）～（4），直至根據用戶對置信度的需求停止在線聚集系統的運行，并將當前計算得到的聚集結果和置信區間均傳輸至結果顯示模塊進行顯示。