[發(fā)明專(zhuān)利]一種詞匯分類(lèi)的方法、系統(tǒng)和實(shí)現(xiàn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201110456676.8
• 申請(qǐng)日: 2011-12-30
• 公開(kāi)（公告）號(hào): CN103186612A
• 公開(kāi)（公告）日: 2013-07-03
• 發(fā)明（設(shè)計(jì)）人: 徐萌;何洪凌;鄧超;羅治國(guó);孫少陵;陶濤
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)移動(dòng)通信集團(tuán)公司
• 主分類(lèi)號(hào): G06F17/30
• 分類(lèi)號(hào): G06F17/30;G06F17/27
• 代理公司: 北京中譽(yù)威圣知識(shí)產(chǎn)權(quán)代理有限公司 11279
• 代理人: 郭振興;彭曉玲

技術(shù)領(lǐng)域

本發(fā)明涉及文檔分析技術(shù)領(lǐng)域，尤其涉及一種詞匯分類(lèi)的方法、系統(tǒng)和實(shí)現(xiàn)方法。

背景技術(shù)

在文檔分析技術(shù)領(lǐng)域中，分類(lèi)詞庫(kù)是一個(gè)比較重要的技術(shù)，可以用于多種用途和領(lǐng)域。例如，用戶(hù)行為分析里面，利用用戶(hù)對(duì)關(guān)鍵詞的輸入，可以判斷用戶(hù)的基本類(lèi)別。收集用戶(hù)輸入的搜索關(guān)鍵詞，可以通過(guò)分類(lèi)詞庫(kù)獲取關(guān)鍵詞的類(lèi)別，進(jìn)而對(duì)用戶(hù)類(lèi)別標(biāo)示。

表1

??詞匯??類(lèi)別??置信概率??姚明??體育??90％??娛樂(lè)??10％??基金??金融??72％??公益??28％

如表1，詞匯分類(lèi)可以用于詞典編輯、語(yǔ)義分析等等領(lǐng)域。分類(lèi)詞庫(kù)描述了詞匯與類(lèi)別的關(guān)系，其中，置信概率為可選項(xiàng)，詞匯可以同時(shí)屬于多個(gè)類(lèi)別。

在詞匯分類(lèi)中，TF-IDF(Term?Frequency-Inverse?Document?Frequency)是一種用于資訊檢索與資訊探勘的常用加權(quán)技術(shù)。TF-IDF是一種統(tǒng)計(jì)方法，用以評(píng)估一個(gè)字詞對(duì)于一個(gè)文件集或一個(gè)語(yǔ)料庫(kù)中的其中一份文件的重要程度。字詞的重要性隨著它在文件中出現(xiàn)的次數(shù)成正比增加，但同時(shí)會(huì)隨著它在語(yǔ)料庫(kù)中出現(xiàn)的頻率成反比下降。

在一份給定的文件里，詞頻(Term?Frequency，TF)指的是某一個(gè)給定的詞匯在該文件中出現(xiàn)的次數(shù)。這個(gè)數(shù)字通常會(huì)被歸一化，以防止它偏向長(zhǎng)的文件。(同一個(gè)詞匯在長(zhǎng)文件里可能會(huì)比短文件有更高的詞頻，而不管該詞匯重要與否。)

逆向文件頻率(Inverse?Document?Frequency，IDF)是一個(gè)詞匯普遍重要性的度量。某一特定詞匯的IDF，可以由總文件數(shù)目除以包含該詞匯之文件的數(shù)目，再將得到的商取對(duì)數(shù)得到。

某一特定文件內(nèi)的高詞匯頻率，以及該詞匯在整個(gè)文件集合中的低文件頻率，可以產(chǎn)生出高權(quán)重的TF-IDF。因此，TF-IDF傾向于過(guò)濾掉常見(jiàn)的詞匯，保留重要的詞匯。

現(xiàn)有技術(shù)的TF-IDF表示了一個(gè)詞匯對(duì)一個(gè)文檔的重要程度，但是對(duì)于目前現(xiàn)狀來(lái)講，還有以下問(wèn)題：

1、TF-IDF僅表示了詞匯統(tǒng)計(jì)結(jié)果，及詞匯個(gè)數(shù)對(duì)某個(gè)文檔的重要程度，而現(xiàn)狀訓(xùn)練集多來(lái)自于網(wǎng)頁(yè)，即網(wǎng)頁(yè)內(nèi)容與分類(lèi)的對(duì)應(yīng)。網(wǎng)頁(yè)中信息不僅僅為文本，還有更豐富的信息，如文本出現(xiàn)的位置，文本字體大小，pagerank值(某個(gè)網(wǎng)頁(yè)被引用的次數(shù)可以表示網(wǎng)頁(yè)重要程度)等，這些信息TF-IDF沒(méi)有用到。

2、TF-IDF現(xiàn)有的對(duì)應(yīng)文檔關(guān)系，某個(gè)文檔與類(lèi)別對(duì)應(yīng)是一一對(duì)應(yīng)關(guān)系，而現(xiàn)有訓(xùn)練集中，往往一個(gè)網(wǎng)頁(yè)對(duì)應(yīng)不同分類(lèi)，即同時(shí)存在于多個(gè)分類(lèi)。例如，新浪的分類(lèi)中，一級(jí)分類(lèi)為體育，二級(jí)分類(lèi)隨著時(shí)事變更，足球和世界杯這兩個(gè)分類(lèi)會(huì)同時(shí)存在，那里面會(huì)有部分網(wǎng)頁(yè)是重復(fù)的，這種情況，現(xiàn)有技術(shù)沒(méi)有解決方法。

3、現(xiàn)有的網(wǎng)頁(yè)對(duì)分類(lèi)的貢獻(xiàn)程度沒(méi)有明確表示，而網(wǎng)頁(yè)對(duì)分類(lèi)的重要程度是可以獲得且具有很大的應(yīng)用價(jià)值。

發(fā)明內(nèi)容

本發(fā)明的目的是針對(duì)現(xiàn)有技術(shù)中TF-IDF存在的問(wèn)題而提出的一種詞匯分類(lèi)的方法、系統(tǒng)和實(shí)現(xiàn)方法，能夠自動(dòng)完成詞匯分類(lèi)，而且投入很少，效果更加準(zhǔn)確。