[發(fā)明專利]一種非結(jié)構(gòu)化大數(shù)據(jù)流的內(nèi)容語義挖掘方法

有效

• 申請?zhí)枺?/td>: 201610041935.3
• 申請日: 2016-01-21
• 公開（公告）號: CN105740329B
• 公開（公告）日: 2019-04-05
• 發(fā)明（設(shè)計）人: 張少中
• 申請（專利權(quán)）人: 浙江萬里學(xué)院
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 寧波市鄞州甬致專利代理事務(wù)所(普通合伙) 33228
• 代理人: 代忠炯

本發(fā)明公開了一種非結(jié)構(gòu)化大數(shù)據(jù)流的內(nèi)容語義挖掘方法，包括S1：提取大數(shù)據(jù)流中的文本鏈接、標(biāo)簽屬性和語義傾向關(guān)鍵詞，并對應(yīng)定義文本結(jié)點、標(biāo)記結(jié)點、內(nèi)容結(jié)點；S2：構(gòu)建包含各文本結(jié)點的文本結(jié)點集合，包含各標(biāo)記結(jié)點的標(biāo)記結(jié)點集合，計算并輸出文本結(jié)點到標(biāo)記結(jié)點之間的權(quán)值、以及任意標(biāo)記結(jié)點到其他所有標(biāo)記結(jié)點之間的權(quán)值；S3：根據(jù)文本結(jié)點集合、標(biāo)記結(jié)點集合、文本結(jié)點到標(biāo)記結(jié)點之間的權(quán)值、任意標(biāo)記結(jié)點到其他所有標(biāo)記結(jié)點之間的權(quán)值，對各內(nèi)容結(jié)點進(jìn)行語義分類并構(gòu)建不同的內(nèi)容結(jié)點分類集合；S4：根據(jù)文本結(jié)點集合、內(nèi)容結(jié)點分類集合，對文本結(jié)點進(jìn)行加權(quán)的小世界網(wǎng)絡(luò)聚類計算，獲得文本結(jié)點聚類集合。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，具體涉及一種非結(jié)構(gòu)化大數(shù)據(jù)流的內(nèi)容語義挖掘方法。

背景技術(shù)

隨著WEB2.0技術(shù)的飛速發(fā)展和應(yīng)用，博客、微博、微信等形式的網(wǎng)絡(luò)信息交互成為重要的信息交流方式，這些交流方式產(chǎn)生的數(shù)據(jù)信息中包括了結(jié)構(gòu)化的數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，其中多以非結(jié)構(gòu)化數(shù)據(jù)為主。這些數(shù)據(jù)經(jīng)過眾多人的傳播、更新，日積月累成為了一種結(jié)構(gòu)復(fù)雜、內(nèi)容多樣的異質(zhì)、異構(gòu)、海量的大數(shù)據(jù)集合。這種大數(shù)據(jù)中包含了各種各樣的信息，如用戶對某種事物、事件、商品或者服務(wù)的評價、態(tài)度、行為等內(nèi)容，如何把這些有價值的內(nèi)容從龐大的大數(shù)據(jù)中抽取出來，以便為企業(yè)、機(jī)構(gòu)和個人用戶提供有價值的服務(wù)是非常重要的。

以微博大數(shù)據(jù)流為例，微博大數(shù)據(jù)流以實時在線的各類微博數(shù)據(jù)為核心，以非結(jié)構(gòu)化數(shù)據(jù)為主要形式，對此類大數(shù)據(jù)流進(jìn)行挖掘的重點是核心內(nèi)容的抽取、分類及聚類等。此外，由于類似微博中產(chǎn)生的數(shù)據(jù)往往帶有作者和評論者的意圖和傾向，具有強(qiáng)烈的語義和情感特征，也即作者或者評論者針對微博中某些內(nèi)容表現(xiàn)出的某種態(tài)度和傾向，如何將這些內(nèi)容的語義和其中包含的情感傾向抽取，并與內(nèi)容挖掘結(jié)合起來，是非結(jié)構(gòu)化微博大數(shù)據(jù)流的內(nèi)容挖掘的重點。

現(xiàn)有的數(shù)據(jù)流處理和挖掘方法，包括針對傳統(tǒng)數(shù)據(jù)集類型的頻繁模式挖掘，以及針對大數(shù)據(jù)集下的頻繁模式挖掘、髙效用模式挖掘、滑動窗口控制技術(shù)等。但是這些挖掘方法一方面只能針對結(jié)構(gòu)化或者半結(jié)構(gòu)化數(shù)據(jù)處理，難以處理微博、博客等類型的非結(jié)構(gòu)化數(shù)據(jù)；另一方面此類挖掘方法沒有考慮數(shù)據(jù)內(nèi)容的語義和情感傾向性問題，難以正確把握到數(shù)據(jù)內(nèi)容的核心點。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是，提供一種可針對非結(jié)構(gòu)化大數(shù)據(jù)流進(jìn)行內(nèi)容語義挖掘，進(jìn)行內(nèi)容語義聚類分析，能夠及時掌握大數(shù)據(jù)流內(nèi)容中語義和情感傾向性的方法。

本發(fā)明的技術(shù)方案是，提供一種非結(jié)構(gòu)化大數(shù)據(jù)流的內(nèi)容語義挖掘方法，包括以下步驟：

步驟S1：提供一大數(shù)據(jù)流，提取所述大數(shù)據(jù)流中的文本鏈接、標(biāo)簽屬性和語義傾向關(guān)鍵詞，定義各所述文本鏈接為文本結(jié)點，各所述標(biāo)簽屬性為標(biāo)記結(jié)點，各所述語義傾向關(guān)鍵詞為內(nèi)容結(jié)點；

步驟S2：構(gòu)建包含各所述文本結(jié)點的文本結(jié)點集合，以及包含各所述標(biāo)記結(jié)點的標(biāo)記結(jié)點集合，計算并輸出所述文本結(jié)點到所述標(biāo)記結(jié)點之間的權(quán)值、以及任意所述標(biāo)記結(jié)點到其他所有標(biāo)記結(jié)點之間的權(quán)值；

步驟S3：根據(jù)所述文本結(jié)點集合、標(biāo)記結(jié)點集合、文本結(jié)點到標(biāo)記結(jié)點之間的權(quán)值、任意標(biāo)記結(jié)點到其他所有標(biāo)記結(jié)點之間的權(quán)值，對各所述內(nèi)容結(jié)點進(jìn)行語義分類并構(gòu)建不同的內(nèi)容結(jié)點分類集合；

步驟S4：根據(jù)所述文本結(jié)點集合、內(nèi)容結(jié)點分類集合，對文本結(jié)點進(jìn)行加權(quán)的小世界網(wǎng)絡(luò)聚類計算，獲得文本結(jié)點聚類集合。

進(jìn)一步地，所述步驟S2包括以下步驟：

步驟S20：構(gòu)建包含各所述文本結(jié)點的文本結(jié)點集合，以及包含各所述標(biāo)記結(jié)點的標(biāo)記結(jié)點集合；

步驟S21：標(biāo)記各個所述文本結(jié)點、標(biāo)記結(jié)點的特征值的頻率；

步驟S22：計算并輸出各所述文本結(jié)點到所有標(biāo)記結(jié)點的頻率；