[發(fā)明專利]文本特征提取方法、裝置、服務(wù)器和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201711078143.4
• 申請日: 2017-11-06
• 公開（公告）號: CN107885724A
• 公開（公告）日: 2018-04-06
• 發(fā)明（設(shè)計(jì)）人: 謝永恒;李強(qiáng);火一莽;萬月亮
• 申請（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06K9/62;G06F17/30
• 代理公司: 北京品源專利代理有限公司11332
• 代理人: 孟金喆

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及文本分析領(lǐng)域，尤其涉及文本特征提取方法、裝置、服務(wù)器和存儲介質(zhì)。

背景技術(shù)

互聯(lián)網(wǎng)技術(shù)的高速發(fā)展引起了信息量的爆炸式增長，面對龐大的數(shù)據(jù)信息，如何在大規(guī)模的文本異構(gòu)信息中準(zhǔn)確、快速、全面地查找到個人所需的特定信息，已經(jīng)成為了一項(xiàng)具有非常重要意義的研究課題。

在組織和管理海量文本信息技術(shù)領(lǐng)域中文本分類是一種非常有效的技術(shù)手段。特征提取方法因其快速、簡單、便捷的優(yōu)點(diǎn)，在文本分類領(lǐng)域中得到廣泛的應(yīng)用。

現(xiàn)有的文本特征提取方法，一般采用中文詞匯特征詞權(quán)重計(jì)算方法，提取權(quán)重高的詞匯為文本特征。采用的方法有：詞頻權(quán)重計(jì)算方法(term frequency –inverse document frequency，TF-IDF)、互信息權(quán)重計(jì)算方法、卡方統(tǒng)計(jì)量權(quán)重計(jì)算方法、信息增益權(quán)重計(jì)算方法。

TF-IDF詞頻權(quán)重計(jì)算方法，依據(jù)文本集中詞匯的詞頻與逆文檔頻率計(jì)算詞匯在文本集中的權(quán)重，依據(jù)權(quán)重值提取權(quán)重高的詞匯作為文本集的特征詞集。

互信息權(quán)重計(jì)算方法、卡方統(tǒng)計(jì)量權(quán)重計(jì)算方法、信息增益權(quán)重計(jì)算方法，都是計(jì)算文本集中詞項(xiàng)與文本類別的相關(guān)度，提取與文本類別關(guān)聯(lián)度高的詞項(xiàng)作為文本集的特征集。

這四種方法的缺點(diǎn)是：第一種方法的缺點(diǎn)是，該方法與文本的類別關(guān)聯(lián)度不高，不能準(zhǔn)確的標(biāo)識文本特征；第二種方法、第三種方法和第四種方法都是依據(jù)統(tǒng)計(jì)的方法，依據(jù)文本的類別與文本中詞匯出現(xiàn)頻率的關(guān)聯(lián)關(guān)系，提取出詞匯與文本類別關(guān)聯(lián)度高的詞匯作為特征，缺點(diǎn)是不能得到詞匯間的關(guān)聯(lián)，使詞匯標(biāo)識文本不夠準(zhǔn)確。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例的目的是提出文本特征提取方法、裝置、服務(wù)器和存儲介質(zhì)，挖掘詞匯標(biāo)識符序列中的頻繁項(xiàng)獲取文本特征規(guī)則，提高提取詞匯與文本類別關(guān)聯(lián)度，加強(qiáng)了提取詞匯之間的關(guān)聯(lián)，以提高文本分類的準(zhǔn)確度。

為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例采用如下技術(shù)方案：

第一方面，本發(fā)明實(shí)施例提供了一種文本特征規(guī)則的提取方法，包括：

切分文本集中包含的各文本，得到所述各文本的詞匯序列；

將不同文本中相似度大于相似度閾值的詞匯用相同標(biāo)識符表示，相似度小于或等于所述相似度閾值的詞匯用不同標(biāo)識符表示，得到各文本的標(biāo)識符序列；

提取各標(biāo)識符序列中的頻繁項(xiàng)，依據(jù)所述頻繁項(xiàng)對應(yīng)的詞匯組合成文本特征規(guī)則。

進(jìn)一步地，將不同文本中相似度大于相似度閾值的詞匯用相同標(biāo)識符表示之前，還包括：

確定各文本中詞匯序列的詞向量；

依據(jù)不同文本對應(yīng)的詞向量，確定不同文本中詞匯的相似度。

進(jìn)一步地，依據(jù)不同文本對應(yīng)的詞向量，確定不同文本中詞匯的相似度，包括：

確定不同文本對應(yīng)的詞向量之間夾角的余弦值；

依據(jù)所述余弦值確定對應(yīng)詞匯的相似度。

進(jìn)一步地，提取各標(biāo)識符序列中的頻繁項(xiàng)，依據(jù)所述頻繁項(xiàng)對應(yīng)的詞匯組合成文本特征規(guī)則，包括：

將各標(biāo)識符序列中出現(xiàn)頻次大于預(yù)設(shè)數(shù)值的標(biāo)識確定為各標(biāo)識符序列中的頻繁項(xiàng)；

將各標(biāo)識符序列中頻繁項(xiàng)對應(yīng)的詞匯進(jìn)行組合生成文本特征規(guī)則。

第二方面，本發(fā)明實(shí)施例提供了一種文本特征規(guī)則的提取裝置，包括：

詞匯序列獲取模塊，用于切分文本集中包含的各文本，得到所述各文本的詞匯序列；

標(biāo)識符序列獲取模塊，用于將不同文本中相似度大于相似度閾值的詞匯用相同標(biāo)識符表示，相似度小于或等于所述相似度閾值的詞匯用不同標(biāo)識符表示，得到各文本的標(biāo)識符序列；

特征規(guī)則獲取模塊，用于提取各標(biāo)識符序列中的頻繁項(xiàng)，依據(jù)所述頻繁項(xiàng)對應(yīng)的詞匯組合成文本特征規(guī)則。

進(jìn)一步地，該裝置還包括：

詞向量確定模塊，用于確定各文本中詞匯序列的詞向量；

相似度確定模塊，用于依據(jù)不同文本對應(yīng)的詞向量，確定不同文本中詞匯的相似度。

進(jìn)一步地，所述相似度確定模塊，包括：

余弦值確定子模塊，用于確定不同文本對應(yīng)的詞向量之間夾角的余弦值；

相似度確定子模塊，用于依據(jù)所述余弦值確定對應(yīng)詞匯的相似度。

進(jìn)一步地，所述特征規(guī)則獲取模塊，包括：

頻繁項(xiàng)確定子模塊，用于將各標(biāo)識符序列中出現(xiàn)頻次大于預(yù)設(shè)數(shù)值的標(biāo)識確定為各標(biāo)識符序列中的頻繁項(xiàng)；

特征規(guī)則合成子模塊，用于將各標(biāo)識符序列中頻繁項(xiàng)對應(yīng)的詞匯進(jìn)行組合生成文本特征規(guī)則。

第三方面，本發(fā)明實(shí)施例提供了一種服務(wù)器，包括：