[發(fā)明專利]一種基于Spark的大規(guī)模數(shù)據(jù)流分析方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110711332.0
• 申請(qǐng)日: 2021-06-25
• 公開(kāi)（公告）號(hào): CN113434548B
• 公開(kāi)（公告）日: 2022-06-17
• 發(fā)明（設(shè)計(jì)）人: 計(jì)衛(wèi)星;張宗毓;景德江;王一拙;高玉金;石峰
• 申請(qǐng)（專利權(quán)）人: 北京理工大學(xué)
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455;G06F16/2458;G06F9/54
• 代理公司: 北京東方盛凡知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11562
• 代理人: 張雪

1.一種基于Spark的大規(guī)模數(shù)據(jù)流分析方法，其特征在于，包括以下步驟：

基于Spark構(gòu)建分布式計(jì)算框架,通過(guò)所述分布式計(jì)算框架對(duì)目標(biāo)代碼進(jìn)行分布式數(shù)據(jù)流分析，Master節(jié)點(diǎn)對(duì)所述目標(biāo)代碼進(jìn)行單機(jī)分析，創(chuàng)建過(guò)程間調(diào)用圖和過(guò)程內(nèi)控制流圖，其中，

所述分布式數(shù)據(jù)流分析，包括，

分布式過(guò)程內(nèi)預(yù)處理階段：將分布式數(shù)據(jù)集在計(jì)算節(jié)點(diǎn)的任務(wù)執(zhí)行器中并行地進(jìn)行所有函數(shù)的過(guò)程內(nèi)數(shù)據(jù)流計(jì)算；

分布式過(guò)程間數(shù)據(jù)整合階段：利用過(guò)程間調(diào)用信息迭代地更新過(guò)程內(nèi)現(xiàn)有的數(shù)據(jù)流狀態(tài)，當(dāng)數(shù)據(jù)流狀態(tài)穩(wěn)定時(shí)停止迭代；

將所述分布式數(shù)據(jù)集分發(fā)到若干個(gè)所述計(jì)算節(jié)點(diǎn)，并通過(guò)廣播方式，傳輸函數(shù)控制流圖集合到若干個(gè)所述計(jì)算節(jié)點(diǎn)的所述任務(wù)執(zhí)行器中并行計(jì)算；其中，在廣播的過(guò)程中，對(duì)所述分布式數(shù)據(jù)集進(jìn)行裁剪，舍棄與計(jì)算無(wú)關(guān)的部分；

在基于所述Spark構(gòu)建所述分布式計(jì)算框架的過(guò)程中，基于函數(shù)任務(wù)集合，構(gòu)建Spark的RDD；

在所述分布式過(guò)程間數(shù)據(jù)整合階段中，所述Master節(jié)點(diǎn)將計(jì)算任務(wù)委派給所述分布式計(jì)算框架的Slaves集群，所述分布式計(jì)算框架的Redis集群通過(guò)與所述Slaves集群進(jìn)行數(shù)據(jù)交互，獲得所述集群計(jì)算結(jié)果，其中，所述Master節(jié)點(diǎn)用于對(duì)所述分布式計(jì)算框架進(jìn)行全局控制，所述Slaves集群用于任務(wù)計(jì)算與結(jié)果返回，所述Redis集群用于通過(guò)在分布式環(huán)境中實(shí)現(xiàn)內(nèi)存的共享，實(shí)現(xiàn)整個(gè)計(jì)算集群的狀態(tài)一致。

2.根據(jù)權(quán)利要求1所述的一種基于Spark的大規(guī)模數(shù)據(jù)流分析方法，其特征在于，

在對(duì)所述目標(biāo)代碼進(jìn)行單機(jī)分析后，基于所述分布式數(shù)據(jù)流分析任務(wù)集合，通過(guò)對(duì)所述分布式過(guò)程的函數(shù)級(jí)別進(jìn)行任務(wù)劃分，構(gòu)建所述分布式數(shù)據(jù)集。

3.根據(jù)權(quán)利要求1所述的一種基于Spark的大規(guī)模數(shù)據(jù)流分析方法，其特征在于，

在所述分布式環(huán)境中，對(duì)于中間數(shù)據(jù)流邊保存，使用基于內(nèi)存的分布式數(shù)據(jù)庫(kù)Redis作為緩存，所述分布式計(jì)算框架生成的數(shù)據(jù)流邊存儲(chǔ)到所述分布式數(shù)據(jù)庫(kù)Redis中。

4.一種基于Spark的大規(guī)模數(shù)據(jù)流分析系統(tǒng)，其特征在于，包括，

數(shù)據(jù)采集模塊，用于獲得目標(biāo)代碼；通過(guò)Master節(jié)點(diǎn)單元對(duì)所述目標(biāo)代碼進(jìn)行單機(jī)分析，創(chuàng)建過(guò)程間調(diào)用圖和過(guò)程內(nèi)控制流圖；

數(shù)據(jù)處理模塊，用于通過(guò)構(gòu)建分布式計(jì)算框架，根據(jù)所述目標(biāo)代碼獲得分布式數(shù)據(jù)集；在構(gòu)建所述分布式計(jì)算框架的過(guò)程中，基于函數(shù)任務(wù)集合，構(gòu)建Spark的RDD；

所述數(shù)據(jù)處理模塊包括，

第一數(shù)據(jù)生成單元，用于獲得過(guò)程間調(diào)用圖；

第二數(shù)據(jù)生成單元，用于獲得過(guò)程內(nèi)控制流圖；

函數(shù)分割單元，用于基于所述過(guò)程間調(diào)用圖、所述過(guò)程內(nèi)控制流圖，通過(guò)對(duì)所述分布式過(guò)程中的函數(shù)級(jí)別進(jìn)行任務(wù)劃分，構(gòu)建所述分布式數(shù)據(jù)集；

廣播單元，用于將分布式過(guò)程內(nèi)控制流圖集合通過(guò)廣播方式進(jìn)行數(shù)據(jù)傳輸；

數(shù)據(jù)分析模塊，用于根據(jù)所述分布式數(shù)據(jù)集進(jìn)行并行分布式計(jì)算，獲得所述目標(biāo)代碼的數(shù)據(jù)流分析結(jié)果；所述分布式計(jì)算的過(guò)程包括：將所述分布式數(shù)據(jù)集分發(fā)到若干個(gè)計(jì)算節(jié)點(diǎn)，并通過(guò)廣播方式，傳輸函數(shù)控制流圖集合到若干個(gè)所述計(jì)算節(jié)點(diǎn)的所述任務(wù)執(zhí)行器中并行計(jì)算；其中，在廣播的過(guò)程中，對(duì)所述分布式數(shù)據(jù)集進(jìn)行裁剪，舍棄與計(jì)算無(wú)關(guān)的部分；

所述數(shù)據(jù)分析模塊包括，

Master節(jié)點(diǎn)單元，用于對(duì)所述分布式計(jì)算框架進(jìn)行全局控制，

Slaves集群?jiǎn)卧?，用于所述分布式?jì)算框架的任務(wù)計(jì)算與結(jié)果返回，

Redis集群?jiǎn)卧糜谕ㄟ^(guò)在分布式環(huán)境中實(shí)現(xiàn)內(nèi)存的共享，實(shí)現(xiàn)整個(gè)計(jì)算集群的狀態(tài)一致；

所述Master節(jié)點(diǎn)單元將計(jì)算任務(wù)委派給所述分布式計(jì)算框架的Slaves集群?jiǎn)卧?，所述分布式?jì)算框架的Redis集群?jiǎn)卧ㄟ^(guò)與所述Slaves集群?jiǎn)卧M(jìn)行數(shù)據(jù)交互，獲得集群計(jì)算結(jié)果；

數(shù)據(jù)存儲(chǔ)模塊，用于存儲(chǔ)中間數(shù)據(jù)流分析結(jié)果；

數(shù)據(jù)顯示模塊，用于顯示所述數(shù)據(jù)流分析結(jié)果以及所述分布式計(jì)算進(jìn)度，其中，所述分布式計(jì)算進(jìn)度用于表示在分布式過(guò)程中，所述分布式數(shù)據(jù)集進(jìn)行分布計(jì)算的計(jì)算進(jìn)度。