[發明專利]基于分布式架構的數據分析方法、系統、裝置及存儲介質

在審

• 申請號: 202010196302.6
• 申請日: 2020-03-19
• 公開（公告）號: CN111427922A
• 公開（公告）日: 2020-07-17
• 發明（設計）人: 趙淦森;趙淑嫻;列海權;徐崗;紀求華;陳冰川;莊序填;蔡斯凱;林成創;梁昕
• 申請（專利權）人: 廣東蔚海數問大數據科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/248
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 何文聰

1.一種基于分布式架構的數據分析方法，其特征在于，包括以下步驟：

構建用于統計分析和數據挖掘的組件庫；

獲取組件庫中被選取的組件合成的任務鏈條，并獲取所述組件的配置信息，進而對任務鏈條進行處理；

將所述任務鏈條提交到kettle服務器中，得出執行狀態和執行結果。

2.根據權利要求1所述的一種基于分布式架構的數據分析方法，其特征在于，還包括以下步驟：

根據所述執行結果，利用所選的圖表形式和預設的配置字段，生成可視化圖表并顯示。

3.根據權利要求1所述的一種基于分布式架構的數據分析方法，其特征在于：所述的構建用于統計分析和數據挖掘的組件庫，這一步驟具體包括：

通過封裝統計組件構建得到統計分析組件；其中，所述統計分析組件包括有排序組件、去重組件、內容替換組件、按值過濾組件、空值處理組件、行轉列組件、列轉行組件、分組統計組件、合并記錄組件和/或記錄集連接組件，所述分組統計組件添加內置排序，所述去重組件添加內置排序；

通過封裝算法算子構建得到數據挖掘組件；

根據統計分析組件和數據挖掘組件，構建得到組件庫。

4.根據權利要求1所述的一種基于分布式架構的數據分析方法，其特征在于：所述的獲取組件庫中被選取的組件合成的任務鏈條，并獲取所述組件的配置信息，進而對任務鏈條進行處理，這一步驟具體包括：

將組件庫中被選取的組件進行合成，得到任務鏈條；

獲取所述任務鏈條中組件的配置信息，并根據配置信息和預設的定義規則，對所述組件添加所需的內置功能組件或算法算子，進而根據改進后的組件構建得到改進后的任務鏈條。

5.根據權利要求1所述的一種基于分布式架構的數據分析方法，其特征在于：所述將所述任務鏈條提交到kettle服務器中，得出執行狀態和執行結果，這一步驟具體包括：

將所述任務鏈條提交到kettle服務器中，以使得kettle服務器根據所述任務鏈條執行任務；

獲取任務執行時的執行狀態，并在任務執行完畢時獲取執行結果。

6.根據權利要求2所述的一種基于分布式架構的數據分析方法，其特征在于：還包括以下步驟：

根據下載請求，對所述可視化圖表進行下載；

根據導入請求，將所述可視化圖表導入至圖表管理中心中。

7.一種基于分布式架構的數據分析系統，其特征在于，包括：

組件庫構建單元，用于構建用于統計分析和數據挖掘的組件庫；

獲取單元，用于獲取組件庫中被選取的組件合成的任務鏈條，并獲取所述組件的配置信息，進而對任務鏈條進行處理；

提交單元，用于將所述任務鏈條提交到kettle服務器中，得出執行狀態和執行結果。

8.根據權利要求7所述的一種基于分布式架構的數據分析系統，其特征在于，還包括：

可視化單元，用于根據所述執行結果，利用所選的圖表形式和預設的配置字段，生成可視化圖表并顯示。

9.一種基于分布式架構的數據分析系統裝置，其特征在于，包括：

至少一個處理器；

至少一個存儲器，用于存儲至少一個程序；

當所述至少一個程序被所述至少一個處理器執行，使得所述至少一個處理器實現如權利要求1-6任一項所述一種基于分布式架構的數據分析方法。

10.一種存儲介質，其中存儲有處理器可執行的指令，其特征在于，所述處理器可執行的指令在由處理器執行時用于執行如權利要求1-6任一項所述一種基于分布式架構的數據分析方法。