[發(fā)明專(zhuān)利]基于索引構(gòu)建和社會(huì)因控網(wǎng)絡(luò)進(jìn)行社區(qū)檢測(cè)的分析方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201911036341.3
• 申請(qǐng)日: 2019-10-29
• 公開(kāi)（公告）號(hào): CN111444402A
• 公開(kāi)（公告）日: 2020-07-24
• 發(fā)明（設(shè)計(jì)）人: 朱海;李雪威;王文俊;武南南
• 申請(qǐng)（專(zhuān)利權(quán)）人: 天津大學(xué)
• 主分類(lèi)號(hào): G06F16/951
• 分類(lèi)號(hào): G06F16/951;G06F16/9536;G06Q50/00
• 代理公司: 天津市北洋有限責(zé)任專(zhuān)利代理事務(wù)所 12201
• 代理人: 程小艷

本發(fā)明公開(kāi)一種基于索引構(gòu)建和社會(huì)因控網(wǎng)絡(luò)進(jìn)行社區(qū)檢測(cè)的分析方法，主要分為以下兩個(gè)步驟進(jìn)行，首先根據(jù)社會(huì)因控理論來(lái)構(gòu)建泛化的因果關(guān)系網(wǎng)絡(luò)，然后依據(jù)FTV框架理論構(gòu)建索引，進(jìn)行查詢，挖掘網(wǎng)絡(luò)的社區(qū)結(jié)構(gòu)；社會(huì)因控理論構(gòu)建因果關(guān)系網(wǎng)絡(luò)，實(shí)施步驟使用構(gòu)建的網(wǎng)絡(luò)，然后基于FTV框架理論，進(jìn)行查詢工作，挖掘網(wǎng)絡(luò)中社區(qū)結(jié)構(gòu)；構(gòu)建網(wǎng)絡(luò)中字典結(jié)構(gòu)。

技術(shù)領(lǐng)域

本發(fā)明屬于網(wǎng)絡(luò)分析領(lǐng)域，是一種基于索引構(gòu)建進(jìn)行查詢，社會(huì)因控論進(jìn)行分析的方法。首先根據(jù)社會(huì)因控關(guān)系構(gòu)建因控關(guān)系網(wǎng)絡(luò)，然后使用索引技術(shù)來(lái)提高查詢的速度和準(zhǔn)確性，并以此來(lái)分析網(wǎng)絡(luò)中的社區(qū)關(guān)系。

背景技術(shù)

近年來(lái)，隨著社交網(wǎng)絡(luò)的普及和發(fā)展，越來(lái)越多的用戶產(chǎn)生了大量的數(shù)據(jù)，如何來(lái)從海量的數(shù)據(jù)中分析其中可能的社區(qū)結(jié)構(gòu)，成為了網(wǎng)絡(luò)分析領(lǐng)域的一個(gè)挑戰(zhàn)。這些年來(lái)，海量數(shù)據(jù)帶來(lái)的問(wèn)題，由于類(lèi)似hadoop這類(lèi)技術(shù)的出現(xiàn)，已經(jīng)慢慢從數(shù)據(jù)存儲(chǔ)轉(zhuǎn)移到網(wǎng)絡(luò)構(gòu)建和網(wǎng)絡(luò)分析上來(lái)，從海量數(shù)據(jù)分析出可能社區(qū)結(jié)構(gòu)，對(duì)于各種領(lǐng)域都有很大的作用。例如，從社交網(wǎng)絡(luò)中分析出各種潛在的社區(qū)，能挖掘出各種欺詐團(tuán)伙，這對(duì)于凈化網(wǎng)絡(luò)安全，有著非凡的意義。這一部分主要介紹網(wǎng)絡(luò)分析中社區(qū)檢測(cè)的研究現(xiàn)狀。

針對(duì)海量數(shù)據(jù)的社區(qū)檢測(cè)目前已經(jīng)進(jìn)行了很多研究。海量圖數(shù)據(jù)的構(gòu)成往往有兩種類(lèi)型，一種是由海量數(shù)據(jù)組成的超大規(guī)模的圖構(gòu)成，包括社交網(wǎng)絡(luò)、萬(wàn)維網(wǎng)、電商交易網(wǎng)絡(luò)等等。這種類(lèi)型的網(wǎng)絡(luò)，例如社交網(wǎng)絡(luò)中，圖中每個(gè)節(jié)點(diǎn)代表人，每一條邊代表人與人之間的關(guān)系，這種類(lèi)型的圖的查詢，最早開(kāi)始被認(rèn)為是NPC問(wèn)題由KARP.R.M提出,社區(qū)檢測(cè)的目的是找出網(wǎng)絡(luò)中緊密相連的關(guān)系和人，由此可以分析可能發(fā)生的事件，比如對(duì)危險(xiǎn)詐騙團(tuán)伙的發(fā)掘。KARP提出使用最大完全圖的方法對(duì)海量數(shù)據(jù)圖進(jìn)行查詢和社區(qū)檢測(cè)建模。另外一種海量的小范圍圖組成的圖網(wǎng)絡(luò)，比如說(shuō)化合物網(wǎng)絡(luò)。在眾多化合物組成的網(wǎng)絡(luò)中，每個(gè)原子代表一個(gè)節(jié)點(diǎn)，每一條邊代表原子之間的作用力。這類(lèi)問(wèn)題可以使用子圖近似匹配的方法來(lái)進(jìn)行查詢，但是這個(gè)問(wèn)題也是NPC問(wèn)題，在1976年J.Ullmannn使用回溯法首次提出了可解方式。本發(fā)明專(zhuān)利針對(duì)第一種圖查詢類(lèi)型。

按照KARP.R.M的方法理論，雖然海量數(shù)據(jù)圖查詢問(wèn)題由NPC問(wèn)題轉(zhuǎn)化為了可解問(wèn)題，但是查詢速度太慢，尤其是當(dāng)今數(shù)據(jù)激增，這種方法就更加難以適應(yīng)當(dāng)前環(huán)境，后來(lái)V.Bonnici提出了一種解決框架，過(guò)濾后驗(yàn)證框架(FTV框架)，這種框架極大的加快了查詢速度和提高了查詢的精度。

本方法首先根據(jù)社會(huì)因控理論相關(guān)關(guān)系，對(duì)網(wǎng)絡(luò)進(jìn)行建模，構(gòu)建因果關(guān)系網(wǎng)絡(luò)，然后依據(jù)FTV框架理論對(duì)構(gòu)建的網(wǎng)絡(luò)進(jìn)行查詢分析，從而達(dá)到更好的匹配，依據(jù)索引查詢技術(shù)重構(gòu)社區(qū)檢測(cè)方法，本方法不論實(shí)際的實(shí)驗(yàn)效果方面還是對(duì)于后續(xù)擴(kuò)展性研究都有十分重要的意義。

發(fā)明內(nèi)容

本方法主要是挖掘海量數(shù)據(jù)圖中的社區(qū)結(jié)構(gòu)，通過(guò)FTV框架理論來(lái)加快查詢速度和提高查詢準(zhǔn)確度，從而能更加快速的在大規(guī)模靜態(tài)圖數(shù)據(jù)中挖掘社區(qū)結(jié)構(gòu)。本方法在欺詐團(tuán)伙檢測(cè)、相同興趣小組推薦和事件爆發(fā)預(yù)警等相關(guān)場(chǎng)景中有很大的應(yīng)用價(jià)值。

本方案主要分為以下兩個(gè)步驟進(jìn)行，首先根據(jù)依存句法抽取因果關(guān)系，然后利用抽取的因果關(guān)系構(gòu)建泛化因果關(guān)系網(wǎng)絡(luò)。

本方法主要分為以下兩個(gè)步驟進(jìn)行，首先根據(jù)社會(huì)因控理論來(lái)構(gòu)建泛化的因果關(guān)系網(wǎng)絡(luò)，然后依據(jù)FTV框架理論構(gòu)建索引，進(jìn)行查詢，挖掘網(wǎng)絡(luò)的社區(qū)結(jié)構(gòu)。

社會(huì)因控理論構(gòu)建因果關(guān)系網(wǎng)絡(luò)，實(shí)施步驟如下：

步驟一，構(gòu)建網(wǎng)絡(luò)。使用當(dāng)前的pyspider框架，爬取微博中博客內(nèi)容和微博中好友關(guān)系列表數(shù)據(jù)，作為本方法的實(shí)證數(shù)據(jù)。

對(duì)博客的具體內(nèi)容進(jìn)行數(shù)據(jù)處理，使用復(fù)旦大學(xué)的分詞器把用戶的博文內(nèi)容進(jìn)行劃分，并剔除無(wú)關(guān)語(yǔ)氣詞，使用FNLP關(guān)鍵詞提取對(duì)輸入的博文數(shù)據(jù)，提取關(guān)鍵詞。然后對(duì)詞性進(jìn)行劃分，然后進(jìn)行語(yǔ)義解析，進(jìn)行查詢抽象((見(jiàn)圖1))。