[發(fā)明專利]一種基于預(yù)分類的短文本關(guān)鍵詞提取方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710053710.4
• 申請(qǐng)日: 2017-01-22
• 公開(kāi)（公告）號(hào): CN106886576B
• 公開(kāi)（公告）日: 2018-04-03
• 發(fā)明（設(shè)計(jì)）人: 蔡禹;紀(jì)曉陽(yáng);孔祥明;張一帆;林成創(chuàng)
• 申請(qǐng)（專利權(quán)）人: 廣東廣業(yè)開(kāi)元科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;G06F17/27
• 代理公司: 廣州嘉權(quán)專利商標(biāo)事務(wù)所有限公司44205
• 代理人: 譚英強(qiáng)

技術(shù)領(lǐng)域

本發(fā)明涉及文本關(guān)鍵詞挖掘分析技術(shù)，尤其涉及一種基于預(yù)分類的短文本關(guān)鍵詞提取方法及系統(tǒng)。

背景技術(shù)

技術(shù)詞解釋：

TF-IDF值：即詞頻-逆文檔頻率值，結(jié)合一個(gè)詞在文本中出現(xiàn)的次數(shù)以及包含該詞的文本數(shù)而計(jì)算出來(lái)的一個(gè)權(quán)重；TF-IDF值與一個(gè)詞在文檔中的出現(xiàn)次數(shù)成正比，與包含該詞的文本數(shù)成反比。

隨著社交媒體的興起，移動(dòng)短信、Tweet和微博等短文本層出不窮，并且由于短文本發(fā)布的參與者多以及發(fā)布頻率快，短文本的規(guī)模更是飛速增長(zhǎng)。對(duì)于短文本，其在搜索引擎、自動(dòng)問(wèn)答和話題跟蹤等領(lǐng)域發(fā)揮著重要的作用，而且隨著電子政務(wù)建設(shè)的推行和不斷深化，政府部門(mén)也面臨著對(duì)大量短文本的處理問(wèn)題。因此由此可見(jiàn)，在短文本數(shù)據(jù)的處理中，如何實(shí)現(xiàn)對(duì)大量短文本數(shù)據(jù)進(jìn)行簡(jiǎn)便、有效的關(guān)鍵詞提取具有重要的意義。

目前常用的一種海量文本關(guān)鍵詞提取方式是，首先對(duì)每個(gè)文本文件進(jìn)行分詞處理，統(tǒng)計(jì)并計(jì)算每個(gè)單詞的詞頻-逆文檔頻率值，然后將每個(gè)單詞的詞頻-逆文檔頻率值從大到小排列，并提取排名靠前的結(jié)果，最后將該提取結(jié)果保存在Hadoop平臺(tái)上的SequenceFile這一原始文件中，以供查詢。然而傳統(tǒng)關(guān)鍵詞提取方式卻存有不少的問(wèn)題，例如：1、在短文本中，文本特征較少，而且在應(yīng)用TF-IDF算法提取文本特征時(shí)，短文本數(shù)據(jù)集中具有相同關(guān)鍵詞的文本會(huì)相互干擾，使得這些關(guān)鍵詞計(jì)算出來(lái)的TF-IDF值大大降低，弱化了這些詞語(yǔ)對(duì)同類的短文本特征表達(dá)效果，進(jìn)而影響了關(guān)鍵詞提取的效果；2、無(wú)法拓展到分布式系統(tǒng)并提升計(jì)算效率，大部分現(xiàn)有的技術(shù)解決方案都無(wú)法有效地拓展到分布式系統(tǒng)，若需要處理海量數(shù)據(jù)同時(shí)又有較高的效率要求，則現(xiàn)有的技術(shù)解決方案均無(wú)法取得一個(gè)較好的解決效果。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題，本發(fā)明的目的是提供一種可拓展適用于分布式系統(tǒng)、提高處理效率、效果好的基于預(yù)分類的短文本關(guān)鍵詞提取方法。

本發(fā)明的另一目的是提供一種可拓展適用于分布式系統(tǒng)、提高處理效率、效果好的基于預(yù)分類的短文本關(guān)鍵詞提取系統(tǒng)。

本發(fā)明所采用的技術(shù)方案是：一種基于預(yù)分類的短文本關(guān)鍵詞提取方法，該方法包括的步驟有：

將短文本全量數(shù)據(jù)集劃分為多個(gè)短文本子數(shù)據(jù)集；

采用短文本預(yù)分類方式以及通用條數(shù)最優(yōu)值，對(duì)多個(gè)短文本子數(shù)據(jù)集分別進(jìn)行關(guān)鍵詞特征詞典的生成處理，從而生成得到每一個(gè)短文本子數(shù)據(jù)集所對(duì)應(yīng)的關(guān)鍵詞特征詞典；

利用每一個(gè)關(guān)鍵詞特征詞典分別相對(duì)應(yīng)對(duì)每一個(gè)短文本子數(shù)據(jù)集進(jìn)行關(guān)鍵詞權(quán)重系數(shù)的累計(jì)計(jì)算；

根據(jù)每一個(gè)短文本子數(shù)據(jù)集的關(guān)鍵詞權(quán)重系數(shù)累計(jì)計(jì)算結(jié)果，對(duì)短文本全量數(shù)據(jù)集進(jìn)行關(guān)鍵詞提取處理。

進(jìn)一步，所述短文本子數(shù)據(jù)集所對(duì)應(yīng)的關(guān)鍵詞特征詞典，其生成步驟包括有：

從短文本子數(shù)據(jù)集中選取出一個(gè)包含有s條短文本的短文本微數(shù)據(jù)集，其中，s的數(shù)值為通用條數(shù)最優(yōu)值；

對(duì)短文本微數(shù)據(jù)集中所包含的短文本進(jìn)行分類，然后將屬于同一類別的短文本拼接成相對(duì)應(yīng)的長(zhǎng)文本；

采用TF-IDF算法對(duì)每一條長(zhǎng)文本中的詞語(yǔ)進(jìn)行TF-IDF值計(jì)算，計(jì)算出每一條長(zhǎng)文本中詞語(yǔ)的TF-IDF值；

根據(jù)預(yù)設(shè)的第一閾值，對(duì)每一條長(zhǎng)文本的詞語(yǔ)的TF-IDF值進(jìn)行閾值判斷，然后將每一條長(zhǎng)文本中TF-IDF值大于第一閾值的詞語(yǔ)提取出來(lái)；

將提取出來(lái)的詞語(yǔ)及其對(duì)應(yīng)的TF-IDF值存儲(chǔ)至關(guān)鍵詞特征詞典中時(shí)，判斷關(guān)鍵詞特征詞典中是否已存儲(chǔ)有該詞語(yǔ)，若否，則將該詞語(yǔ)及其對(duì)應(yīng)的TF-IDF值存儲(chǔ)至關(guān)鍵詞特征詞典中；反之，則判斷該待存儲(chǔ)的詞語(yǔ)所對(duì)應(yīng)的TF-IDF值是否大于已存儲(chǔ)在關(guān)鍵詞特征詞典中的該詞語(yǔ)所對(duì)應(yīng)的TF-IDF值，若是，則采用該待存儲(chǔ)的詞語(yǔ)所對(duì)應(yīng)的TF-IDF值替換已存儲(chǔ)在關(guān)鍵詞特征詞典中的該詞語(yǔ)所對(duì)應(yīng)的TF-IDF值，反之，則不改變已存儲(chǔ)在關(guān)鍵詞特征詞典中的該詞語(yǔ)所對(duì)應(yīng)的TF-IDF值。

進(jìn)一步，所述通用條數(shù)最優(yōu)值，其確定獲取步驟包括有：

計(jì)算每一個(gè)短文本子數(shù)據(jù)集所對(duì)應(yīng)的條數(shù)最優(yōu)值，然后從計(jì)算得出的所有條數(shù)最優(yōu)值中選取數(shù)值最大的條數(shù)最優(yōu)值作為通用條數(shù)最優(yōu)值。

進(jìn)一步，所述短文本子數(shù)據(jù)集所對(duì)應(yīng)的條數(shù)最優(yōu)值，其計(jì)算步驟包括有：

從短文本子數(shù)據(jù)集中選取出一個(gè)包含有n條短文本的短文本微數(shù)據(jù)集，其中，n值小于等于s0，s0表示為短文本子數(shù)據(jù)集所包含的短文本的總條數(shù)；

根據(jù)選取出的短文本微數(shù)據(jù)集，生成該短文本子數(shù)據(jù)集所對(duì)應(yīng)的關(guān)鍵詞特征詞典；