[發(fā)明專利]一種基于深度學(xué)習(xí)的互聯(lián)網(wǎng)流量大數(shù)據(jù)分析方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710132366.8
• 申請(qǐng)日: 2017-03-07
• 公開（公告）號(hào): CN107086925B
• 公開（公告）日: 2020-04-07
• 發(fā)明（設(shè)計(jì)）人: 潘強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 珠海城市職業(yè)技術(shù)學(xué)院
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24;H04L12/26;H04L29/08;G06F16/9535;G06N3/08
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司 44205
• 代理人: 譚英強(qiáng)

本發(fā)明公開了一種基于深度學(xué)習(xí)的互聯(lián)網(wǎng)流量大數(shù)據(jù)分析方法，包括：獲取原始的互聯(lián)網(wǎng)流量監(jiān)測(cè)數(shù)據(jù)；采用融合N近鄰填充算法和門限填充算法的不完整數(shù)據(jù)填充算法對(duì)獲取的互聯(lián)網(wǎng)流量監(jiān)測(cè)數(shù)據(jù)進(jìn)行填充處理；根據(jù)填充處理后的數(shù)據(jù)采用基于無限深度神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法進(jìn)行分類處理，得到互聯(lián)網(wǎng)網(wǎng)站的分類結(jié)果；根據(jù)互聯(lián)網(wǎng)網(wǎng)站的分類結(jié)果進(jìn)行數(shù)據(jù)挖掘；根據(jù)數(shù)據(jù)挖掘的結(jié)果為用戶進(jìn)行互聯(lián)網(wǎng)網(wǎng)站推薦。本發(fā)明采用了具有反饋連接的無限深度神經(jīng)網(wǎng)絡(luò)來取代現(xiàn)有的前饋神經(jīng)網(wǎng)絡(luò)，能處理動(dòng)態(tài)數(shù)據(jù)，實(shí)時(shí)性較好；采用融合N近鄰填充算法和門限填充算法的不完整數(shù)據(jù)填充算法對(duì)獲取的互聯(lián)網(wǎng)流量監(jiān)測(cè)數(shù)據(jù)進(jìn)行填充處理，精度高。本發(fā)明可廣泛應(yīng)用于數(shù)據(jù)挖掘領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)挖掘領(lǐng)域，尤其是一種基于深度學(xué)習(xí)的互聯(lián)網(wǎng)流量大數(shù)據(jù)分析方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)、移動(dòng)智能終端、物聯(lián)網(wǎng)等信息與通信技術(shù)的迅猛發(fā)展，以及計(jì)算機(jī)存儲(chǔ)和計(jì)算能力的不斷提升，各種數(shù)據(jù)的爆炸式增長(zhǎng)和持續(xù)獲取成為可能，大數(shù)據(jù)時(shí)代悄然而至。相較于傳統(tǒng)的數(shù)據(jù)，人們將大數(shù)據(jù)的特征總結(jié)為5個(gè)V，即體量大(volume)、速度快(velocity)、模態(tài)多(variety)、難辨識(shí)(veracity)和價(jià)值大密度低(value)。如何分析大數(shù)據(jù)，充分挖掘大數(shù)據(jù)的潛在價(jià)值，成為需要深入探討的科學(xué)問題。

在互聯(lián)網(wǎng)領(lǐng)域，網(wǎng)絡(luò)流量監(jiān)測(cè)是獲取網(wǎng)絡(luò)流量指標(biāo)和網(wǎng)絡(luò)用戶行為參數(shù)的最有效手段。隨著互聯(lián)網(wǎng)用戶的日益增多，互聯(lián)網(wǎng)需要研究和分析的數(shù)據(jù)也在不斷增多，如何從海量的用戶流量數(shù)據(jù)中挖掘出流量規(guī)律和用戶行為規(guī)律(即如何進(jìn)行互聯(lián)網(wǎng)流量大數(shù)據(jù)分析)，就成為業(yè)內(nèi)亟需解決的技術(shù)難題。

基于深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法(簡(jiǎn)稱深度學(xué)習(xí)方法)，作為成功的大數(shù)據(jù)分析方法，已為學(xué)術(shù)界和工業(yè)界所熟知。與傳統(tǒng)方法相比，深度學(xué)習(xí)方法以數(shù)據(jù)驅(qū)動(dòng)、能自動(dòng)地從數(shù)據(jù)中提取特征(知識(shí))，對(duì)于分析非結(jié)構(gòu)化、模式不明多變、跨領(lǐng)域的大數(shù)據(jù)具有顯著優(yōu)勢(shì)。

目前，在互聯(lián)網(wǎng)流量大數(shù)據(jù)分析中使用的深度學(xué)習(xí)方法是基于前饋神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法，而前饋神經(jīng)網(wǎng)絡(luò)的特點(diǎn)是同層神經(jīng)元之間沒有反饋連接，沒有“時(shí)間參數(shù)”屬性，所以基于前饋神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法只擅長(zhǎng)處理靜態(tài)數(shù)據(jù)，卻無法處理動(dòng)態(tài)數(shù)據(jù)(即與時(shí)間相關(guān)的數(shù)據(jù))，實(shí)時(shí)性較差，滿足不了人們對(duì)互聯(lián)網(wǎng)流量大數(shù)據(jù)分析日益增長(zhǎng)的高要求。此外，當(dāng)前在互聯(lián)網(wǎng)流量大數(shù)據(jù)分析中，受各種故障的影響，網(wǎng)絡(luò)流量監(jiān)測(cè)設(shè)備監(jiān)測(cè)的數(shù)據(jù)會(huì)有缺失，進(jìn)而會(huì)因監(jiān)測(cè)的數(shù)據(jù)不完整而嚴(yán)重影響后續(xù)互聯(lián)網(wǎng)流量大數(shù)據(jù)分析的精度。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明的目的在于：提供一種實(shí)時(shí)性好和精度高的，基于深度學(xué)習(xí)的互聯(lián)網(wǎng)流量大數(shù)據(jù)分析方法。

本發(fā)明所采取的技術(shù)方案是：

一種基于深度學(xué)習(xí)的互聯(lián)網(wǎng)流量大數(shù)據(jù)分析方法，包括以下步驟：

獲取原始的互聯(lián)網(wǎng)流量監(jiān)測(cè)數(shù)據(jù)；

采用融合N近鄰填充算法和門限填充算法的不完整數(shù)據(jù)填充算法對(duì)獲取的互聯(lián)網(wǎng)流量監(jiān)測(cè)數(shù)據(jù)進(jìn)行填充處理，其中，N為設(shè)定的最近鄰數(shù)據(jù)總個(gè)數(shù)；

根據(jù)填充處理后的數(shù)據(jù)采用基于無限深度神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法進(jìn)行分類處理，得到互聯(lián)網(wǎng)網(wǎng)站的分類結(jié)果，其中，無限深度神經(jīng)網(wǎng)絡(luò)的同層神經(jīng)元之間存在反饋連接；

根據(jù)互聯(lián)網(wǎng)網(wǎng)站的分類結(jié)果進(jìn)行數(shù)據(jù)挖掘；

根據(jù)數(shù)據(jù)挖掘的結(jié)果為用戶進(jìn)行互聯(lián)網(wǎng)網(wǎng)站推薦。

進(jìn)一步，所述采用融合N近鄰填充算法和門限填充算法的不完整數(shù)據(jù)填充算法對(duì)獲取的互聯(lián)網(wǎng)流量監(jiān)測(cè)數(shù)據(jù)進(jìn)行填充處理這一步驟，其包括：

S1、對(duì)獲取的互聯(lián)網(wǎng)流量監(jiān)測(cè)數(shù)據(jù)進(jìn)行噪聲清洗，得到噪聲清洗后的數(shù)據(jù)；

S2、按照數(shù)據(jù)是否完整將噪聲清洗后的數(shù)據(jù)分別劃分到完整數(shù)據(jù)集C和不完整數(shù)據(jù)集I中，并使C中的數(shù)據(jù)直接執(zhí)行步驟S5以及使I中的數(shù)據(jù)執(zhí)行步驟S3；