[發明專利]互聯網熱詞挖掘方法及裝置

在審

• 申請號: 201310607937.0
• 申請日: 2013-11-27
• 公開（公告）號: CN104679738A
• 公開（公告）日: 2015-06-03
• 發明（設計）人: 肖詩斌;孫麗華
• 申請（專利權）人: 北京拓爾思信息技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 無
• 代理人: 無

1.一種互聯網熱詞挖掘方法，其特征在于，該方法包括：

步驟A，構建詞圖Words和背景庫Corpus，并初始化；

步驟B，實體串識別；

步驟C，非實體串識別；

步驟D，字串統計指標更新；

步驟E，字串熱度計算；

步驟F，熱詞排序、輸出。

2.如權利要求1所述的一種互聯網熱詞挖掘方法，其特征在于，詞圖用于存儲中間抽取的詞；背景庫用于存儲背景語料及單位時間里各統計指標量化值，各統計指標是為字串熱度計算服務的一些指標，根據熱度計算方法的不同，統計指標有所區別。

3.如權利要求1所述的一種互聯網熱詞挖掘方法，其特征在于，以句子終結符為標準，將互聯網原始數據切分為一個個原始字串序列后做下一步處理。

4.如權利要求1所述的一種互聯網熱詞挖掘方法，其特征在于，實體串包括人名、地名、機構名等，實體串識別基于分詞基礎，構建三級互聯的隱馬爾科夫模型，自底向上依次為人名HMM、地名HMM、機構名稱HMM，每一級以隱馬爾科夫模型作為基本的算法模型，構建層疊隱馬爾科夫模型。

5.如權利要求1和權利要求4所述的一種互聯網熱詞挖掘方法，其特征在于每一層隱馬爾科夫模型采用改進的Viterbi算法，利用N-Best策略，將產生的最好的N個結果送到詞圖Words中，供高層模型使用。

6.如權利要求4所述的一種互聯網熱詞挖掘方法，其特征在于，低層隱馬爾科夫模型通過詞語的生成模型為高層模型的參數估計提供支持。

7.如權利要求4所述的一種互聯網熱詞挖掘方法，其特征在于，第一層人名識別模型的輸入是分詞后的二元粗切分序列，最高級隱馬爾科夫模型在人名和地名識別的基礎上，做機構名識別。

8.如權利要求1所述的一種互聯網熱詞挖掘方法，其特征在于，采用串頻統計算法，如Nagao算法，統計字串中長度為L的子串串頻，抽取大于一定閾值的子串，進行子串歸并及垃圾子串過濾。

9.如權利要求1和權利要求2所述的一種互聯網熱詞挖掘方法，其特征在于，對背景庫中語料進行定點更新，同時更新字串統計指標，這里的字串指實體串和非實體串。

10.如權利要求1所述的一種互聯網熱詞挖掘方法，其特征在于，字串熱度權值分為基礎權值和波動權值，字串熱度權值的計算，依賴于字串統計指標的值，其計算方法為：

字串熱度finalweight(s,t)?=?Convbasew(s)?*?Wavew(s,t)，其中Convbasew(s)為字串基礎權值，Wavew(s)為字串的波動權值。

11.如權利要求1和權利要求10所述的一種互聯網熱詞挖掘方法，其特征在于，基礎權值由字串出現的位置、頻率、逆文檔頻率確定；波動權值用字串的時間衰減度來描述，即為字串頻率隨時間的變化情況。

12.如權利要求11所述的一種互聯網熱詞挖掘方法，其特征在于，基礎權值的計算方法為：

?Basew(s)?=?titlew(s)?*????????????????????????????????????????????????+?content(s)，其中titlew為字串在標題中出現的權重，contentw為字串在正文中出現的權重，權重的衡量采用tf-idf技術，為作用系數，反應字串在標題和正文中的差異；

為平衡低頻、高頻字串，對基礎權值進行平滑處理，處理方法如下：

Convbasew?(s)?=?log(1+log(1+log(basew(s))))。

13.如權利要求11所述的一種互聯網熱詞挖掘方法，其特征在于，波動權值，其計算方法為：Wavew(s,t)=,t[1,T],?t為一個時間單位。

14.如權利要求1所述的一種互聯網熱詞挖掘方法，其特征在于，按照字串熱度權值由大到小對字串排序，輸出一定時間內，熱度大于一定閾值的作為熱詞，其中包括熱點人名、地名、機構名和非實體詞語。