[發(fā)明專利]用戶關(guān)系抽取方法和用戶關(guān)系抽取系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201610457978.X
• 申請(qǐng)日: 2016-06-22
• 公開（公告）號(hào): CN107704460A
• 公開（公告）日: 2018-02-16
• 發(fā)明（設(shè)計(jì)）人: 王九碩;張丹;趙增峰;于曉明;楊建武
• 申請(qǐng)（專利權(quán)）人: 北大方正集團(tuán)有限公司;北京北大方正電子有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F17/27;G06Q50/00
• 代理公司: 北京友聯(lián)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)11343
• 代理人: 尚志峰,汪海屏

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，涉及一種用戶關(guān)系抽取方法和一種用戶關(guān)系抽取系統(tǒng)。

背景技術(shù)

目前，社交網(wǎng)絡(luò)不斷興起，逐漸超越電視、新聞、論壇，成為社會(huì)輿情的重要發(fā)生地和擴(kuò)散地，它帶來了信息生產(chǎn)和傳播方式的革命。據(jù)中國互聯(lián)網(wǎng)絡(luò)信息中心統(tǒng)計(jì)，截至2014年12月底，中國網(wǎng)民規(guī)模達(dá)到6.49億。因此，越來越多的用戶利用微博等平臺(tái)來發(fā)表各種話題，而不同的話題之間又存在著一定的聯(lián)系。

眼下，對(duì)用戶關(guān)系進(jìn)行抽取的方法主要是根據(jù)不同用戶之間的互粉情況、轉(zhuǎn)發(fā)和評(píng)論博文情況等來提取用戶關(guān)系特征，從而抽取出不同用戶之間的關(guān)系。但是此種方法無法關(guān)注用戶實(shí)際發(fā)布的內(nèi)容，準(zhǔn)確性較低，也不能突出某些用戶在特定的時(shí)間段內(nèi)發(fā)生的關(guān)系。

因此需要一種新的技術(shù)方案，可以進(jìn)一步提升對(duì)社交網(wǎng)絡(luò)中的用戶關(guān)系進(jìn)行抽取的準(zhǔn)確性。

發(fā)明內(nèi)容

本發(fā)明正是基于上述問題，提出了一種新的技術(shù)方案，可以進(jìn)一步提升對(duì)社交網(wǎng)絡(luò)中的用戶關(guān)系進(jìn)行抽取的準(zhǔn)確性。

有鑒于此，本發(fā)明的一方面提出了一種用戶關(guān)系抽取方法，包括：獲取第一用戶的第一發(fā)布數(shù)據(jù)和第二用戶的第二發(fā)布數(shù)據(jù)；通過LDA算法在所述第一發(fā)布數(shù)據(jù)和所述第二發(fā)布數(shù)據(jù)中分別抽取所述第一發(fā)布數(shù)據(jù)中的話題特征詞和所述第二發(fā)布數(shù)據(jù)中的話題特征詞；根據(jù)語義相似度計(jì)算公式，計(jì)算所述第一發(fā)布數(shù)據(jù)中的話題特征詞和所述第二發(fā)布數(shù)據(jù)中的話題特征詞之間的語義相似度；根據(jù)所述語義相似度，確定所述第一用戶和 所述第二用戶之間的關(guān)系數(shù)據(jù)。

在該技術(shù)方案中，可以從社交平臺(tái)上獲取用戶發(fā)布的數(shù)據(jù)，比如，獲取微博用戶發(fā)布的微博內(nèi)容，獲取QQ空間用戶發(fā)表的心情，獲取微信用戶發(fā)布的朋友圈，這些數(shù)據(jù)主要為文字信息，也可以是從用戶發(fā)布的圖片、視頻等多媒體文件里獲取到的文字信息。

LDA為文檔主題生成模型，LDA算法具有稀疏性，本發(fā)明中具體可以使用Gibbs采樣算法中的加速算法，可以準(zhǔn)確地將多個(gè)用戶的發(fā)布數(shù)據(jù)中的話題特征詞抽取出來，并根據(jù)不同用戶的發(fā)布數(shù)據(jù)之間的語義相似度，來確定不同用戶之間的關(guān)系數(shù)據(jù)。

比如，利用LDA算法對(duì)A用戶和B用戶每周的微博博文進(jìn)行話題特征詞的抽取，并求得其各個(gè)話題特征詞之間的相似度，這樣，即可進(jìn)一步獲取A用戶和B用戶的關(guān)系數(shù)據(jù)。

其中，由于每個(gè)用戶的發(fā)布數(shù)據(jù)中往往能夠提取出多個(gè)話題特征詞，為了確保相似度計(jì)算的準(zhǔn)確性，比如，可以將第一用戶的任一話題特征詞與第二用戶的每個(gè)話題特征詞逐個(gè)進(jìn)行語義相似度的比較，并將結(jié)果中的最高語義相似度確定為該任一話題特征詞對(duì)應(yīng)的語義相似度，進(jìn)一步地，可以求得第一用戶的每個(gè)話題特征詞對(duì)應(yīng)的最高相似度，從而能夠明確知曉第一用戶和第二用戶之間的關(guān)系，并能夠通過系統(tǒng)向這兩個(gè)用戶分別推薦對(duì)方，或向該兩個(gè)用戶同時(shí)推送與語義相似度超過預(yù)定值的話題特征詞相關(guān)的推送內(nèi)容。

通過該技術(shù)方案，可以實(shí)時(shí)自動(dòng)抽取不同用戶之間的話題，計(jì)算其相似性，并根據(jù)抽取結(jié)果確定不同用戶之間的關(guān)系，提升了關(guān)系獲取的效率和準(zhǔn)確性，可以輔助系統(tǒng)、用戶或其他第三方準(zhǔn)確快速了解用戶關(guān)系分布情況，便于對(duì)發(fā)布敏感話題的用戶進(jìn)行追蹤和調(diào)查。

在上述技術(shù)方案中，優(yōu)選地，在所述分別抽取所述第一發(fā)布數(shù)據(jù)中的話題特征詞和所述第二發(fā)布數(shù)據(jù)中的話題特征詞之前，還包括：對(duì)所述第一發(fā)布數(shù)據(jù)和所述第二發(fā)布數(shù)據(jù)進(jìn)行預(yù)處理，所述預(yù)處理的步驟包括以下至少之一或其組合：去重處理步驟、簡(jiǎn)繁體轉(zhuǎn)換步驟和無關(guān)信息剔除步驟。

在該技術(shù)方案中，可以對(duì)用戶的發(fā)布數(shù)據(jù)進(jìn)行去重、簡(jiǎn)繁體轉(zhuǎn)換、無 關(guān)信息剔除等預(yù)處理，以得到更規(guī)范的數(shù)據(jù)，便于進(jìn)一步進(jìn)行話題特征詞的抽取。

在上述任一技術(shù)方案中，優(yōu)選地，在所述分別抽取所述第一發(fā)布數(shù)據(jù)中的話題特征詞和所述第二發(fā)布數(shù)據(jù)中的話題特征詞之前，還包括：構(gòu)建分布式云計(jì)算平臺(tái)，以供在所述分布式云計(jì)算平臺(tái)上進(jìn)行抽取所述話題特征詞的步驟。

在該技術(shù)方案中，抽取話題特征詞需要在建立的分布式云計(jì)算平臺(tái)上進(jìn)行，其中，一般可以建立HADOOP分布式平臺(tái)，HADOOP分布式平臺(tái)是由apache基金會(huì)開發(fā)的分布式系統(tǒng)基礎(chǔ)架構(gòu)，可以對(duì)數(shù)據(jù)進(jìn)行快速有效的處理。