[發明專利]PostgreSQL高并發流式大數據多維度準實時統計的方法

有效

• 申請號: 201410207285.6
• 申請日: 2014-05-15
• 公開（公告）號: CN104166666B
• 公開（公告）日: 2017-03-08
• 發明（設計）人: 周正中
• 申請（專利權）人: 杭州斯凱網絡科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06Q10/06
• 代理公司: 杭州杭誠專利事務所有限公司33109
• 代理人: 尉偉敏

1.一種PostgreSQL高并發流式大數據多維度準實時統計的方法，適用于OLTP系統，其特征在于：

步驟一：創建流水表增量狀態表、統計函數、函數增量狀態表和分析函數，對流水表增量狀態表函數增量狀態表進行初始化；

步驟二：計算分析函數取數的次數，以整數方式記錄，作為統計次數數據，步驟三：分析函數工作，進入子步驟，

子步驟一：計算機判斷取數據的參數值是否正確，如果正確將數據錄入流水信息表，如果不正確則結束本方法并報錯，

子步驟二：從函數增量狀態表中取出統計函數，存儲在計算機內存中，遍歷統計函數的函數名和各變量，

子步驟三：把未執行事務號存入內存中，

子步驟四：在流水表增量狀態表中取出歷史截止時間值，

子步驟五：將歷史未執行事務號與未執行事務號做集合加運算，

子步驟六：從流水表中根據統計次數數據取出大于等于歷史截止時間值的事務號結果值，所述事務號結果值包括歷史截止時間值和第一部分流水數據，歷史截止時間值根據事務號結果值進行更新，

子步驟七：計算機從流水表中先對未執行事務號和歷史未執行事務號進行集合差運算獲得差異值，再對未執行事務號和歷史未執行事務號進行取交集運算獲得交集值，將交集值與差異值做集合與運算得出第二部分流水數據，

子步驟八：將第一部分流水數據和第二部分流水數據合并得出流水數據，將流水數據更新至流水表增量狀態表，將歷史截止時間值也更新至流水表增量狀態表中，遍歷統計函數中的變量后，更新函數增量狀態表，

子步驟九：流水數據由統計函數調用，執行步驟四，

步驟四：計算機根據統計函數得出的流水統計數據輸出含有多維度準實時統計數據的統計維度表；

所述流水表為OLTP系統固有組成。

2.根據權利要求1所述的PostgreSQL高并發流式大數據多維度準實時統計的方法，其特征在于：當取增量數據消耗硬件成本更高時，使用所有維度統一增量數據集方式統計，在數據統計耗硬件成本更高時，使用維度獨立增量數據集方式統計。

3.根據權利要求2所述的PostgreSQL高并發流式大數據多維度準實時統計的方法，其特征在于：使用所有維度統一增量數據集方式統計，所有統計維度表對應同一份流水表增量狀態表和同一份函數增量狀態表。

4.根據權利要求2所述的PostgreSQL高并發流式大數據多維度準實時統計的方法，其特征在于：使用所有維度統一增量數據集方式統計，每份統計維度表均對應有一份流水表增量狀態表和同一份函數增量狀態表。

5.根據權利要求2所述的PostgreSQL高并發流式大數據多維度準實時統計的方法，其特征在于：在所述子步驟二中，在獲取統計維度信息前，系統對均獲取一個用于確保統計邏輯數據的一致性的adv鎖，在所述子步驟九中增加釋放adv鎖的步驟。