[發明專利]大數據分析方法、裝置、系統、設備和計算機存儲介質

有效

• 申請號: 202010032824.2
• 申請日: 2020-01-13
• 公開（公告）號: CN111291227B
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 艾建文;張偉哲;劉川意;張賓;方濱興
• 申請（專利權）人: 鵬城實驗室
• 主分類號: G06F16/90
• 分類號: G06F16/90;G06F21/60;G06F21/62
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 晏波

1.一種大數據分析方法，其特征在于，所述大數據分析方法包括以下步驟：

接收數據源節點發送的樣本文件，獲取所述樣本文件中的樣本數據和數據源地址信息；

根據數據分析程序適配表，調度部署有數據分析程序的數據節點，驅動所述數據分析程序與所述樣本數據進行適配，獲得適配結果；

在所述適配結果為所述數據分析程序與所述樣本數據匹配時，將所述數據分析程序浮動至所述數據源地址信息對應的數據源節點，通過所述數據分析程序在數據源節點進行全量數據分析。

2.如權利要求1所述的大數據分析方法，其特征在于，所述接收數據源節點發送的樣本文件，獲取所述樣本文件中的樣本數據和數據源地址信息的步驟之前，包括：

在分布式數據集群部署大數據調測平臺，將數據挖掘調測平臺部署到所述大數據調測平臺的數據節點中；

將數據分析程序設置到所述數據挖掘調測平臺的數據節點，并將所述數據分析程序和所述數據節點的關聯關系記錄在數據分析程序適配表上。

3.如權利要求1所述的大數據分析方法，其特征在于，所述接收數據源節點發送的樣本文件，獲取所述樣本文件中的樣本數據和數據源地址信息的步驟，包括：

接收數據源節點發送的樣本文件，根據所述樣本文件關聯的驗證碼對所述樣本文件進行驗證；

若所述樣本文件驗證不通過，則發送傳輸指令至所述數據源節點，以使所述數據源節點重新上傳樣本文件；

若所述樣本文件驗證通過，則解壓所述樣本文件獲取所述樣本文件中的樣本數據和數據源地址信息。

4.如權利要求1所述的大數據分析方法，其特征在于，所述根據數據分析程序適配表，調度部署有數據分析程序的數據節點，驅動所述數據分析程序與所述樣本數據進行適配，獲得適配結果的步驟，包括：

查詢數據分析程序適配表，確定所述數據分析程序適配表中未適配的數據分析程序；

調度設置有所述數據分析程序的數據節點，驅動所述數據節點中的數據分析程序與所述樣本數據進行適配，獲得適配結果。

5.如權利要求1所述的大數據分析方法，其特征在于，所述根據數據分析程序適配表，調度部署有數據分析程序的數據節點，驅動所述數據分析程序與所述樣本數據進行適配，獲得適配結果的步驟之后，包括：

在所述適配結果為所述數據分析程序與所述樣本數據不匹配時，判斷所述數據分析程序適配表中是否存在沒有適配的數據分析程序；

若所述數據分析程序適配表中存在沒有適配的數據分析程序，則調度設置有未適配數據分析程序的數據節點，驅動所述數據分析程序與所述樣本數據進行適配，直至所述數據分析程序適配表中全部數據分析程序適配完成，或所述數據分析程序與所述樣本數據匹配；

若所述數據分析程序適配表中全部的數據分析程序適配完成，則輸出提示信息。

6.如權利要求1所述的大數據分析方法，其特征在于，所述根據數據分析程序適配表，調度部署有數據分析程序的數據節點，驅動所述數據分析程序與所述樣本數據進行適配，獲得適配結果的步驟之后，包括：

根據所述適配結果，更新所述數據分析程序適配表。

7.一種大數據分析裝置，其特征在于，所述大數據分析裝置包括：

接收獲取模塊，用于接收數據源節點發送的樣本文件，獲取所述樣本文件中的樣本數據和數據源地址信息；

調度適配模塊，用于根據數據分析程序適配表，調度部署有數據分析程序的數據節點，驅動所述數據分析程序與所述樣本數據進行適配，獲得適配結果；

浮動分析模塊，用于在所述適配結果為所述數據分析程序與所述樣本數據匹配時，將所述數據分析程序浮動至所述數據源地址信息對應的數據源節點，通過所述數據分析程序在數據源節點進行全量數據分析。