[發明專利]分布式數據計算分析方法、裝置、設備和存儲介質

在審

• 申請號: 202011087359.9
• 申請日: 2020-10-12
• 公開（公告）號: CN112241872A
• 公開（公告）日: 2021-01-19
• 發明（設計）人: 黃培
• 申請（專利權）人: 上海眾言網絡科技有限公司
• 主分類號: G06Q10/10
• 分類號: G06Q10/10;G06F16/27
• 代理公司: 北京知果之信知識產權代理有限公司 11541
• 代理人: 卜榮麗

1.一種分布式數據計算分析方法，其特征在于，所述方法基于Python語言搭建，所述方法包括：

獲取待分析項目，根據所述待分析項目的類型生成對應的分析模型；

獲取所述待分析項目的待計算數據；

根據所述分析模型對應的預設分割規則將所述待計算數據分割為多個數據塊；

創建計算分析任務，利用所述計算分析任務對每個所述數據塊進行計算分析，得到對應的臨時分析結果；

將每個所述臨時分析結果進行合并，得到最終數據分析結果。

2.如權利要求1所述的方法，其特征在于，所述預設分割規則為：將所述待計算數據平均分割為多個所述數據塊，所述數據塊的個數與系統空閑進程數量相同。

3.如權利要求1所述的方法，其特征在于，所述計算分析任務的數量與所述數據塊的數量相同。

4.如權利要求3所述的方法，其特征在于，所述利用所述計算分析任務對每個所述數據塊進行計算分析，得到對應的臨時分析結果，具體為：利用每個所述計算分析任務并行對每個所述數據塊進行計算分析，得到對應的臨時分析結果。

5.如權利要求1所述的方法，其特征在于，所述將每個所述臨時分析結果進行合并，得到最終數據分析結果，包括：

根據所述分析模型對應的合并計算框架對每個所述臨時分析結果進行合并，生成最終結果文件，得到最終數據分析結果。

6.如權利要求1所述的方法，其特征在于，所述方法支持單機應用和多機分布式應用。

7.一種分布式數據計算分析裝置，其特征在于，包括：

獲取模塊，用于獲取待分析項目和所述待分析項目的待計算數據；

處理模塊，用于根據所述待分析項目的類型生成對應的分析模型；

根據所述分析模型對應的預設分割規則將所述待計算數據分割為多個數據塊；

創建計算分析任務，利用所述計算分析任務對每個所述數據塊進行計算分析，得到對應的臨時分析結果；

合并輸出模塊，用于將每個所述臨時分析結果進行合并，得到最終數據分析結果。

8.如權利要求7所述的裝置，其特征在于，所述處理模塊包括：

并行處理單元，用于利用每個所述計算分析任務并行對每個所述數據塊進行計算分析，得到對應的臨時分析結果。

9.一種分布式數據計算分析電子設備，其特征在于，包括：

一個或多個處理器；

存儲器；以及

一個或多個應用程序，其中所述一個或多個應用程序被存儲于所述存儲器中，并配置為由所述處理器執行以實現權利要求1-6中任一項所述的分布式數據計算分析方法。

10.一種計算機可讀存儲介質，其特征在于，其上存儲有計算機程序，所述計算機程序被處理器進行加載，以執行權利要求1-6任一項所述的分布式數據計算分析方法中的步驟。