[發(fā)明專(zhuān)利]數(shù)據(jù)過(guò)濾方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811150166.6
• 申請(qǐng)日: 2018-09-29
• 公開(kāi)（公告）號(hào): CN109408711B
• 公開(kāi)（公告）日: 2019-12-06
• 發(fā)明（設(shè)計(jì)）人: 劉萬(wàn)強(qiáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京三快在線科技有限公司
• 主分類(lèi)號(hào): G06F16/9535
• 分類(lèi)號(hào): G06F16/9535
• 代理公司: 11438 北京律智知識(shí)產(chǎn)權(quán)代理有限公司
• 代理人: 袁禮君;闞梓瑄<國(guó)際申請(qǐng)>=<國(guó)際公布>

1.一種基于Spark的數(shù)據(jù)過(guò)濾方法，其特征在于，包括：

基于第一數(shù)據(jù)表中多條數(shù)據(jù)的標(biāo)識(shí)信息生成廣播變量，并將所述廣播變量廣播至各個(gè)工作節(jié)點(diǎn)；

提取所述工作節(jié)點(diǎn)產(chǎn)生的新增數(shù)據(jù)的標(biāo)識(shí)信息，確定所述新增數(shù)據(jù)的標(biāo)識(shí)信息是否存在于所述廣播變量中；

響應(yīng)于所述新增數(shù)據(jù)的標(biāo)識(shí)信息存在于所述廣播變量中，將對(duì)應(yīng)的新增數(shù)據(jù)過(guò)濾到待處理彈性分布式數(shù)據(jù)集；

所述基于第一數(shù)據(jù)表中多條數(shù)據(jù)的標(biāo)識(shí)信息生成廣播變量，包括：

獲取第一數(shù)據(jù)表中多條數(shù)據(jù)的標(biāo)識(shí)信息；

將各條數(shù)據(jù)的標(biāo)識(shí)信息作為第一關(guān)鍵字，通過(guò)對(duì)所述第一關(guān)鍵字進(jìn)行哈希運(yùn)算生成與所述標(biāo)識(shí)信息對(duì)應(yīng)的位集BitSet；

將所述BitSet作為初始數(shù)據(jù)生成廣播變量。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)過(guò)濾方法，其特征在于，確定所述新增數(shù)據(jù)的標(biāo)識(shí)信息是否存在于所述廣播變量中，包括：

將所述新增數(shù)據(jù)的標(biāo)識(shí)信息作為第二關(guān)鍵字，對(duì)所述第二關(guān)鍵字進(jìn)行所述哈希運(yùn)算；

基于所述哈希運(yùn)算的結(jié)果判斷所述第二關(guān)鍵字在所述BitSet中是否存在。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)過(guò)濾方法，其特征在于，所述數(shù)據(jù)過(guò)濾方法還包括：

基于所述待處理彈性分布式數(shù)據(jù)集生成臨時(shí)表，并將所述臨時(shí)表與第二數(shù)據(jù)表進(jìn)行連接查詢。

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)過(guò)濾方法，其特征在于，基于所述待處理彈性分布式數(shù)據(jù)集生成臨時(shí)表，包括：

創(chuàng)建子線程，通過(guò)所述子線程將所述待處理彈性分布式數(shù)據(jù)集轉(zhuǎn)換成數(shù)據(jù)幀DataFrame；

基于所述DataFrame生成臨時(shí)表。

5.根據(jù)權(quán)利要求1至4中任一項(xiàng)所述的數(shù)據(jù)過(guò)濾方法，其特征在于，所述第一數(shù)據(jù)表為報(bào)警規(guī)則表，所述標(biāo)識(shí)信息為日期、IP地址以及報(bào)警類(lèi)型。

6.根據(jù)權(quán)利要求1所述的數(shù)據(jù)過(guò)濾方法，其特征在于，所述哈希運(yùn)算為MurmurHash運(yùn)算。

7.一種基于Spark的數(shù)據(jù)過(guò)濾裝置，其特征在于，包括：

廣播單元，用于基于第一數(shù)據(jù)表中多條數(shù)據(jù)的標(biāo)識(shí)信息生成廣播變量，并將所述廣播變量廣播至各個(gè)工作節(jié)點(diǎn)；

判斷單元，用于提取所述工作節(jié)點(diǎn)產(chǎn)生的新增數(shù)據(jù)的標(biāo)識(shí)信息，確定所述新增數(shù)據(jù)的標(biāo)識(shí)信息是否存在于所述廣播變量中；

過(guò)濾單元，用于響應(yīng)于所述新增數(shù)據(jù)的標(biāo)識(shí)信息存在于所述廣播變量中，將對(duì)應(yīng)的新增數(shù)據(jù)過(guò)濾到待處理彈性分布式數(shù)據(jù)集；

所述基于第一數(shù)據(jù)表中多條數(shù)據(jù)的標(biāo)識(shí)信息生成廣播變量，包括：

獲取第一數(shù)據(jù)表中多條數(shù)據(jù)的標(biāo)識(shí)信息；

將各條數(shù)據(jù)的標(biāo)識(shí)信息作為第一關(guān)鍵字，通過(guò)對(duì)所述第一關(guān)鍵字進(jìn)行哈希運(yùn)算生成與所述標(biāo)識(shí)信息對(duì)應(yīng)的位集BitSet；

將所述BitSet作為初始數(shù)據(jù)生成廣播變量。

8.一種電子設(shè)備，其特征在于，包括：

處理器；以及

存儲(chǔ)器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被所述處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的數(shù)據(jù)過(guò)濾方法。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的數(shù)據(jù)過(guò)濾方法。