[發(fā)明專利]一種隨機(jī)型分布式數(shù)據(jù)流頻繁項(xiàng)集挖掘系統(tǒng)及其方法

無效

• 申請(qǐng)?zhí)枺?/td>: 201010179445.2
• 申請(qǐng)日: 2010-05-19
• 公開（公告）號(hào): CN101887450A
• 公開（公告）日: 2010-11-17
• 發(fā)明（設(shè)計(jì)）人: 曲朝陽;王敬東;孟凡奇;董如意;李鵬;張亮;程成
• 申請(qǐng)（專利權(quán)）人: 東北電力大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 吉林市達(dá)利專利事務(wù)所 22102
• 代理人: 陳傳林

1.一種隨機(jī)型分布式數(shù)據(jù)流頻繁項(xiàng)集挖掘系統(tǒng)，其特征是，它包含有：

一數(shù)據(jù)項(xiàng)分割器，用于將事務(wù)中所包含的不同項(xiàng)按項(xiàng)進(jìn)行分割，并將分割的若干數(shù)據(jù)項(xiàng)分別發(fā)送至n個(gè)頻繁項(xiàng)集挖掘器；

n個(gè)頻繁項(xiàng)集挖掘器，根據(jù)基于頻繁項(xiàng)事務(wù)的頻繁項(xiàng)集，對(duì)若干個(gè)數(shù)據(jù)項(xiàng)挖掘頻繁項(xiàng)集；

一頻繁項(xiàng)集存儲(chǔ)器，用于匯總存儲(chǔ)挖掘器挖掘出的頻繁項(xiàng)集；

一頻繁項(xiàng)隨機(jī)混合器，將數(shù)據(jù)項(xiàng)順序隨機(jī)混合后，反饋n+1次至數(shù)據(jù)項(xiàng)分割器。

2.一種隨機(jī)型分布式數(shù)據(jù)流頻繁項(xiàng)集挖掘方法，其特征是，它包括以下步驟：

(1)當(dāng)數(shù)據(jù)流到達(dá)數(shù)據(jù)項(xiàng)分割器時(shí)，根據(jù)數(shù)據(jù)流中不同事務(wù)到達(dá)的順序?qū)⑶癗個(gè)事務(wù)組成的一個(gè)基本窗口w，對(duì)窗口中的每個(gè)不同項(xiàng)i_m用一個(gè)長(zhǎng)度為N+1的一維數(shù)組存儲(chǔ)，其中所述一維數(shù)組中的第一項(xiàng)表示頻繁項(xiàng)，后N項(xiàng)表示N個(gè)事務(wù)中是否包含此頻繁項(xiàng)，包含則取1，否則取0，將生成的m個(gè)數(shù)組分成m/n組，分別發(fā)送至n個(gè)頻繁項(xiàng)集挖掘器；

(2)在頻繁項(xiàng)集挖掘器中通過對(duì)不同的“頻繁項(xiàng)-事務(wù)”進(jìn)行與操作以挖掘頻繁項(xiàng)集，并將挖掘出的頻繁項(xiàng)集匯總至頻繁項(xiàng)集存儲(chǔ)器存儲(chǔ)，設(shè)定最小支持度閾值s和用戶允許誤差ε，其中s的取值范圍為(0，1)，0＜ε＜＜s，將產(chǎn)生的m個(gè)一維數(shù)組兩兩與運(yùn)算，生成新的長(zhǎng)度為N+1的數(shù)組，其中第一項(xiàng)為頻繁項(xiàng)集，將新生成的數(shù)組的后N項(xiàng)求和，如果超出最小支持度計(jì)數(shù)，則生成頻繁項(xiàng)集，其中所述最小支持度計(jì)數(shù)為最小支持度閾值s與事務(wù)數(shù)N的乘積，重復(fù)對(duì)窗口中的每個(gè)不同項(xiàng)i_m用一個(gè)長(zhǎng)度為N+1的一維數(shù)組存儲(chǔ)，并重復(fù)將生成的m個(gè)數(shù)組分成m/n組，分別發(fā)送至n個(gè)頻繁項(xiàng)挖掘器，直到產(chǎn)生的頻繁項(xiàng)集為空為止；

(3)將數(shù)據(jù)項(xiàng)通過頻繁項(xiàng)隨機(jī)混合器反饋n+1次至數(shù)據(jù)項(xiàng)分割器，再進(jìn)行深層次挖掘。