[發明專利]一種數據聚合的方法、裝置及計算機可讀存儲介質

在審

• 申請號: 201910774624.1
• 申請日: 2019-08-21
• 公開（公告）號: CN110457355A
• 公開（公告）日: 2019-11-15
• 發明（設計）人: 歐陽勇華;楊樺;彭君
• 申請（專利權）人: 金蝶軟件(中國)有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/28;G06F16/245
• 代理公司: 44285 深圳市深佳知識產權代理事務所(普通合伙)
• 代理人: 駱蘇華<國際申請>=<國際公布>=<進入

本發明實施例提供了一種數據聚合的方法及裝置，用于在處理OLAP型多維數據時，先按照預設的數據維度，獲取多組維度成員，然后啟用多個服務器的多個線程對多組維度成員進行處理，以提升OLAP型多維數據的處理效率。本發明實施例方法包括：在OLAP型多維數據中，確定拆分數據的維度；根據所述維度，獲取多組維度成員；啟用多線程，將所述多組維度成員分配至多個服務器的多個線程進行聚合處理；聚合完成后，對聚合結果進行顯示。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據聚合的方法、裝置及計算機可讀存儲介質。

背景技術

在OLAP(OnlineAnalytical Processing聯機分析處理)型多維數據中，在計算規則或維度成員組合后數據特別多的時候，數據計算的壓力并不是在數據庫層，而是在服務器層。因為目前的技術方式是一次性將數據先從數據庫層取出到服務器，再通過聚合算法，在某一臺服務器上，使用某一個CPU物理核心進行計算。

這樣在大數據聚合時，就會造成某個服務器的壓力特別大，甚至會出現內存溢出，導致數據無法處理。

發明內容

本發明實施例提供了一種數據聚合的方法、裝置及計算機可讀存儲介質，用于在處理OLAP型多維數據時，先按照預設的數據維度，獲取多組維度成員，然后啟用多個服務器的多個線程對多組維度成員進行處理，以提升OLAP型多維數據的處理效率。

本申請實施例第一方面提供了一種數據聚合的方法，包括：

在OLAP型多維數據中，確定拆分數據的維度；

根據所述維度，獲取多組維度成員；

啟用多線程，將所述多組維度成員分配至多個服務器的多個線程進行聚合處理；

聚合完成后，對聚合結果進行顯示。

優選的，在所述啟用多線程前，所述方法還包括：

確定參與數據聚合服務器的數量及每個所述服務器CPU的核心數；

根據所述服務器的數量及所述CPU的核心數，設置啟用多線程的數量。

優選的，所述根據所述服務器的數量及所述CPU的核心數，設置啟用多線程的數量，包括：

通過調用API接口，按照第一公式來設置啟用多線程的數量；

所述第一公式為：

X＝A*B*β；

其中，X表示啟用多線程的數量；

A表示參與數據聚合服務器的數量；

B表示每個所述服務器中CPU的核心數；

β表示每個所述服務器的負載系數。

優選的，所述根據所述服務器的數量及所述CPU的核心數，設置啟用多線程的數量，包括：

通過系統參數的形式直接輸入所述多線程的數量。

優選的，所述方法還包括：

利用線程池對所述多個線程執行管理。

本申請實施例第二方面提供了一種數據聚合的裝置，包括：

第一確定單元，用于在OLAP型多維數據中，確定拆分數據的維度；

獲取單元，用于根據所述維度，獲取多組維度成員；

分配單元，用于啟用多線程，將所述多組維度成員分配至多個服務器的多個線程進行聚合處理；

顯示單元，用于聚合完成后，對聚合結果進行顯示。