[發(fā)明專利]一種分布式關(guān)聯(lián)規(guī)則增量的更新方法及裝置

在審

• 申請?zhí)枺?/td>: 201810010225.3
• 申請日: 2018-01-05
• 公開（公告）號: CN108197272A
• 公開（公告）日: 2018-06-22
• 發(fā)明（設(shè)計）人: 馬威;蔣嚴(yán)
• 申請（專利權(quán)）人: 北京搜狐新媒體信息技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F8/658
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

1.一種分布式關(guān)聯(lián)規(guī)則增量的更新方法，其特征在于，包括：

加載原始數(shù)據(jù)集和新增數(shù)據(jù)集，分別將所述原始數(shù)據(jù)集和所述新增數(shù)據(jù)集轉(zhuǎn)換為彈性分布式數(shù)據(jù)集RDD，并分別對原始數(shù)據(jù)集RDD和新增數(shù)據(jù)集RDD進(jìn)行分布式存儲；

加載原始頻繁項集，將所述原始頻繁項集轉(zhuǎn)換為RDD，并對原始頻繁項集RDD進(jìn)行存儲；

對所述新增數(shù)據(jù)集RDD進(jìn)行并行化處理，得到新增頻繁項集；

根據(jù)所述原始頻繁項集RDD和所述新增頻繁項集RDD，生成第一候選項集和第二候選項集；

分別統(tǒng)計所述第一候選項集和所述第二候選項集的支持度，并過濾掉所述第一候選項集和所述第二候選項集中小于最小支持度的候選項集，得到最終頻繁項集。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述加載原始數(shù)據(jù)集和新增數(shù)據(jù)集，分別將所述原始數(shù)據(jù)集和所述新增數(shù)據(jù)集轉(zhuǎn)換為彈性分布式數(shù)據(jù)集RDD，并分別對原始數(shù)據(jù)集RDD和新增數(shù)據(jù)集RDD進(jìn)行分布式存儲，包括：

通過SparkSQL分別讀取原始數(shù)據(jù)集和新增數(shù)據(jù)集；

分別將所述原始數(shù)據(jù)集和所述新增數(shù)據(jù)集轉(zhuǎn)換為RDD；

分別對原始數(shù)據(jù)集RDD和新增數(shù)據(jù)集RDD進(jìn)行去重處理，并分別得到所述原始數(shù)據(jù)集RDD去重后的數(shù)據(jù)量和所述新增數(shù)據(jù)集RDD去重后的數(shù)據(jù)量；

設(shè)置分區(qū)數(shù)，根據(jù)所述分區(qū)數(shù)和所述原始數(shù)據(jù)集RDD去重后的數(shù)據(jù)量將所述原始數(shù)據(jù)集RDD分布式存儲到Spark集群內(nèi)存中的各個分區(qū)中，并根據(jù)所述分區(qū)數(shù)和所述新增數(shù)據(jù)集RDD去重后的數(shù)據(jù)量將所述新增數(shù)據(jù)集RDD分布式存儲到Spark集群內(nèi)存中的各個分區(qū)中。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對所述新增數(shù)據(jù)集RDD進(jìn)行并行化處理，得到新增頻繁項集，包括：

提取每個分區(qū)中所述新增數(shù)據(jù)集RDD中的1-項候選項集；

對每個所述分區(qū)中所述新增數(shù)據(jù)集中的1-項候選項集進(jìn)行去重處理，并過濾掉小于所述最小支持度的項集，得到所述新增數(shù)據(jù)集中的1-頻繁項集；

在每個所述分區(qū)中根據(jù)預(yù)設(shè)關(guān)聯(lián)規(guī)則的頻繁項集的挖掘算法，生成所述新增數(shù)據(jù)集中除所述1-頻繁項集之外的所有K-頻繁項集，K>2；

根據(jù)每個所述區(qū)分中所述1-頻繁項集和所有K-頻繁項集，生成新增頻繁項集。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述原始頻繁項集RDD和所述新增頻繁項集RDD，生成第一候選項集和第二候選項集，包括：

對所述原始頻繁項集RDD和所述新增頻繁項集RDD進(jìn)行交集運算，得到第一頻繁項集；

對所述原始頻繁項集RDD和所述第一頻繁項集進(jìn)行差集運算，得到第一候選項集，并對所述新增頻繁項集RDD和所述第一頻繁項集進(jìn)行差集運算，得到第二候選項集。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分別統(tǒng)計所述第一候選項集和所述第二候選項集的支持度，并過濾掉所述第一候選項集和所述第二候選項集中小于最小支持度的候選項集，得到最終頻繁項集，包括：

將所述第一候選項集轉(zhuǎn)換為第一廣播變量，并將所述第二候選項集轉(zhuǎn)換為第二廣播變量；

統(tǒng)計所述第一廣播變量中每個候選項集在所述新增數(shù)據(jù)集RDD中存在的記錄數(shù)，得到所述第一候選項集的支持度，并統(tǒng)計所述第二廣播變量中每個候選項集在所述原始數(shù)據(jù)集RDD中存在的記錄數(shù)，得到所述第二候選項集的支持度；

分別過濾掉所述第一候選項集和所述第二候選項集中小于所述最小支持度的項集，得到第二頻繁項集和第三頻繁項集；

合并所述第一頻繁項集、所述第二頻繁項集和所述第三頻繁項集，得到最終頻繁項集。