[發(fā)明專利]基于關(guān)聯(lián)規(guī)則的海量物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711491380.3
• 申請(qǐng)日: 2017-12-30
• 公開（公告）號(hào): CN110019413A
• 公開（公告）日: 2019-07-16
• 發(fā)明（設(shè)計(jì)）人: 祁建明;周峻松;徐繼峰;陳墩金
• 申請(qǐng)（專利權(quán)）人: 廣州明領(lǐng)基因科技有限公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458;H04L29/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種基于關(guān)聯(lián)規(guī)則的海量物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)，該系統(tǒng)包括：數(shù)據(jù)存儲(chǔ)層模塊、數(shù)據(jù)挖掘算法層模塊以及挖掘任務(wù)處理層模塊；其中，所述數(shù)據(jù)存儲(chǔ)層模塊負(fù)責(zé)在部分計(jì)算存儲(chǔ)節(jié)點(diǎn)中存儲(chǔ)被Map/Reduce化的數(shù)據(jù)挖掘算法，有利于實(shí)現(xiàn)所述數(shù)據(jù)挖掘算法層模塊的高效性；所述數(shù)據(jù)挖掘算法層模塊負(fù)責(zé)集成數(shù)據(jù)挖掘中的被Map/Reduce化的常用算法；所述挖掘任務(wù)處理層模塊相當(dāng)于任務(wù)調(diào)度層，是系統(tǒng)的核心層次。本發(fā)明方案在數(shù)據(jù)挖掘技術(shù)與云計(jì)算技術(shù)的支持下采用物聯(lián)網(wǎng)海量數(shù)據(jù)挖掘的算法，實(shí)現(xiàn)了海量物聯(lián)網(wǎng)海量數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)。

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)挖掘技術(shù)領(lǐng)域，涉及一種基于關(guān)聯(lián)規(guī)則的海量物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)。

背景技術(shù)

物聯(lián)網(wǎng)在互聯(lián)網(wǎng)基礎(chǔ)上技術(shù)與功能獲得了不斷的升級(jí)，實(shí)現(xiàn)了用戶對(duì)信息的傳感、收集與感知。但利用物聯(lián)網(wǎng)進(jìn)行信息交換與通信的過程中會(huì)產(chǎn)生海量的數(shù)據(jù)(如RFID數(shù)據(jù)流、傳感器網(wǎng)絡(luò)數(shù)據(jù)等)，這些數(shù)據(jù)不斷的增多加大了用戶從中獲取有用信息的難度。

RFID信息數(shù)據(jù)是研究物聯(lián)網(wǎng)海量數(shù)據(jù)挖掘問題的主要對(duì)象，結(jié)合數(shù)據(jù)挖掘技術(shù)可從該研究對(duì)象中挖掘出潛在、有價(jià)值的信息。RFID傳感器可采集到EPC(標(biāo)簽的標(biāo)識(shí)碼)、Location(閱讀器讀取標(biāo)簽的地點(diǎn))、Time(閱讀器讀取標(biāo)簽的時(shí)間)的3個(gè)原始數(shù)據(jù)，這些數(shù)據(jù)的特征主要體現(xiàn)在海量性、分布式、時(shí)間與空間性、異構(gòu)性、動(dòng)態(tài)性、節(jié)點(diǎn)資源有限性，因而要想精確挖掘出物聯(lián)網(wǎng)海量數(shù)據(jù)難度極大。

在實(shí)際領(lǐng)域中，RFID數(shù)據(jù)流分析、頻繁與序列模式分析、分類與聚類的路徑分析等是RFID信息數(shù)據(jù)挖掘的主要內(nèi)容，這些數(shù)據(jù)的挖掘?qū)ξ锫?lián)網(wǎng)商業(yè)決策具有重要意義。

發(fā)明內(nèi)容

本發(fā)明目的在于提供一種基于關(guān)聯(lián)規(guī)則的海量物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)，針對(duì)物聯(lián)網(wǎng)在信息交換與通信過程中不斷產(chǎn)生的海量數(shù)據(jù)會(huì)加大用戶從中獲取有用信息的難度的問題，結(jié)合物聯(lián)網(wǎng)數(shù)據(jù)結(jié)構(gòu)的特點(diǎn)，在數(shù)據(jù)挖掘技術(shù)與云計(jì)算技術(shù)的支持下采用物聯(lián)網(wǎng)海量數(shù)據(jù)挖掘的算法，實(shí)現(xiàn)了海量物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)，有效地解決了物聯(lián)網(wǎng)海量數(shù)據(jù)挖掘問題。

為解決上述技術(shù)問題，本發(fā)明采用如下的技術(shù)方案：一種基于關(guān)聯(lián)規(guī)則的海量物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)，該系統(tǒng)包括：數(shù)據(jù)存儲(chǔ)層模塊、數(shù)據(jù)挖掘算法層模塊以及挖掘任務(wù)處理層模塊；其中，所述數(shù)據(jù)存儲(chǔ)層模塊負(fù)責(zé)在部分計(jì)算存儲(chǔ)節(jié)點(diǎn)中存儲(chǔ)被Map/Reduce化的數(shù)據(jù)挖掘算法，有利于實(shí)現(xiàn)所述數(shù)據(jù)挖掘算法層模塊的高效性；所述數(shù)據(jù)挖掘算法層模塊負(fù)責(zé)集成數(shù)據(jù)挖掘中的被Map/Reduce化的常用算法；所述挖掘任務(wù)處理層模塊相當(dāng)于任務(wù)調(diào)度層，是系統(tǒng)的核心層次。

進(jìn)一步地，所述數(shù)據(jù)存儲(chǔ)層模塊采用分布式數(shù)據(jù)存儲(chǔ)方式，滿足計(jì)算與存儲(chǔ)的整合、遷移，這也是基于云計(jì)算、關(guān)聯(lián)規(guī)則Apriori的物聯(lián)網(wǎng)海量數(shù)據(jù)挖掘系統(tǒng)的一大特征。

進(jìn)一步地，所述數(shù)據(jù)挖掘算法層模塊借助了云計(jì)算平臺(tái)，利用Master主控節(jié)點(diǎn)來進(jìn)行控制與管理，根據(jù)客戶需求向相關(guān)節(jié)點(diǎn)傳送算法來計(jì)算。

進(jìn)一步地，所述挖掘任務(wù)處理層模塊利用Master可調(diào)度系統(tǒng)中所有的挖掘器，使系統(tǒng)每一節(jié)點(diǎn)的計(jì)算和存儲(chǔ)的文件傳輸效率大大提高。

本發(fā)明與現(xiàn)有技術(shù)相比具有以下的有益效果：

本發(fā)明方案針對(duì)物聯(lián)網(wǎng)在信息交換與通信過程中不斷產(chǎn)生的海量數(shù)據(jù)會(huì)加大用戶從中獲取有用信息的難度的問題，結(jié)合物聯(lián)網(wǎng)數(shù)據(jù)結(jié)構(gòu)的特點(diǎn)，在數(shù)據(jù)挖掘技術(shù)與云計(jì)算技術(shù)的支持下采用物聯(lián)網(wǎng)海量數(shù)據(jù)挖掘的算法，實(shí)現(xiàn)了海量物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的設(shè)計(jì)，有效地解決了物聯(lián)網(wǎng)海量數(shù)據(jù)挖掘問題。

附圖說明

圖1是基于關(guān)聯(lián)規(guī)則的海量物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的整體架構(gòu)圖。

圖2是基于關(guān)聯(lián)規(guī)則的海量物聯(lián)網(wǎng)數(shù)據(jù)挖掘系統(tǒng)的挖掘算法實(shí)現(xiàn)流程圖。

具體實(shí)施方式