[發明專利]一種多維度短文本特征提取方法及系統

在審

• 申請號: 201611034985.5
• 申請日: 2016-11-09
• 公開（公告）號: CN106776539A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 李成華;劉麗君
• 申請（專利權）人: 武漢泰迪智慧科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 武漢智嘉聯合知識產權代理事務所(普通合伙)42231
• 代理人: 黃君軍

技術領域

本發明涉及大數據文本處理技術領域，特別涉及一種多維度短文本特征提取方法及系統。

背景技術

短文本分類如此重要，那么究竟什么是短文本呢？目前，對于短文本還沒有統一規范的定義，本文參考已有的研究文獻將短文本定義為長度不超過200字的文本形式的信息。短文本的幾種常見形式有手機短信息、社交網絡短信息、信息檢索簡介信息、BBS/論壇短信息等。一般來說，短文本包括的特點有：

①稀疏性。每條短文本形式信息的長度都比較短，都在200字以內，通常只有幾句話，有的甚至只有幾個詞語如微博信息、手機短信息等，因此所包含的有效信息也就非常少，造成樣本的特征非常稀疏，并且特征集的維數非常高，很難從中抽取到準確而關鍵的樣本特征用于分類學習。

②實時性。在互聯網上出現的短文本形式的信息，大部分都是實時更新的，刷新速度非常快，像聊天信息、微博信息、評論信息等，都在以秒計時的速度不斷更新，難以采集，并且這部分動態文本數量非常龐大，這就要求對短文本信息分類必須具有更高的效率。

③不規則性。短文本形式的信息用語不規范，包含流行詞匯較多，造成了噪聲特征非常多，如“94”代表“就是”，“88”代表“再見”，“童鞋”代表“同學”，“河蟹”代表“和諧”等。流行語在短文本中更是頻繁出現，而且更新很快，如2011年的流行詞“傷不起”、“有沒有”、“坑爹”，2012年的流行詞“屌絲”、“江南Style”、“元芳，你怎么看”等等。

特征提取是指從原始特征集中挑選出對文本分類學習貢獻最大的一組特征，這些特征保留了原始特征集中大部分有用的數據信息，最能反映文本分類的性能。

發明內容

有鑒于此，本發明提出一種能夠有效解決短文本中不規則性、稀疏性問題的多維度短文本特征提取方法及系統

一種多維度短文本特征提取方法，其包括如下步驟：

S1、對短文本進行預處理；將短文本中信息劃分為表情符號信息、文本信息、語音信息；

S2、分類對短文本中各種信息進行處理并得到統一的文本信息集；

S3、將統一的文本信息集中中文短文本采用分詞工具進行分詞處理，然后利用正則匹配與字符串替換來過濾掉無效字符、連續空格、大小寫混用噪音信息；對于英文短文本采用詞干提取工具進行預處理；

S4、通過向量空間模型表示文本表示模型；通過選擇算法來獲取輸入的短文本特征。

在本發明所述的多維度短文本特征提取方法中，所述步驟S2包括：

對于表情符號信息，獲取表情符號信息所對應的感情傾向信息以及表情符號信息的中文含義；將感情傾向信息以及中文含義進行處理獲得關鍵詞；將關鍵詞加入到統一的文本信息集中；

對語音信息，通過語音識別將語音信息轉換為文本信息；并通過分析語音信息中的音調獲得語音信息中的情感傾向信息；將文本信息以及情感傾向信息進行處理獲得關鍵詞；將關鍵詞加入到統一的文本信息集中。

在本發明所述的多維度短文本特征提取方法中，所述步驟S3中通過ICTCLAS分詞系統進行分詞。

在本發明所述的多維度短文本特征提取方法中，所述步驟S4包括：

對于經過預處理后的文本信息集，根據短文本中的詞項，抽取出具有代表性的詞條作為短文本的特征，并為每個特征賦予一定的權值，將所有特征項構成的向量表示該短文本，即文本空間實際上是由一組由數字描述的詞項所構建的向量空間。

在本發明所述的多維度短文本特征提取方法中，

所述步驟S4還包括：

生成特征詞序號列表，根據預先設定的特征閾值，選擇相對應的特征，通過詞頻逆文檔詞頻算法獲得特征相對應的權值，最終得到提取后的特征向量；將得到的特征向量進行歸一化處理得到多維向量。

在本發明所述的多維度短文本特征提取方法中，進行情感分析時，預先設置不同情感詞相對應的情感偏向以及正負長度值；通過情感偏向以及正負長度值得到整體感情傾向信息。

本發明還提供一種多維度短文本特征提取系統，其包括如下單元：

預處理單元，用于對短文本進行預處理；將短文本中信息劃分為表情符號信息、文本信息、語音信息；

分類處理單元，用于分類對短文本中各種信息進行處理并得到統一的文本信息集；

分詞處理單元，用于將統一的文本信息集中中文短文本采用分詞工具進行分詞處理，然后利用正則匹配與字符串替換來過濾掉無效字符、連續空格、大小寫混用噪音信息；對于英文短文本采用詞干提取工具進行預處理；