[發明專利]一種多維度短文本特征提取方法及系統

在審

• 申請號: 201611034985.5
• 申請日: 2016-11-09
• 公開（公告）號: CN106776539A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 李成華;劉麗君
• 申請（專利權）人: 武漢泰迪智慧科技有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/30
• 代理公司: 武漢智嘉聯合知識產權代理事務所(普通合伙)42231
• 代理人: 黃君軍

1.一種多維度短文本特征提取方法，其特征在于，其包括如下步驟：

S1、對短文本進行預處理；將短文本中信息劃分為表情符號信息、文本信息、語音信息；

S2、分類對短文本中各種信息進行處理并得到統一的文本信息集；

S3、將統一的文本信息集中中文短文本采用分詞工具進行分詞處理，然后利用正則匹配與字符串替換來過濾掉無效字符、連續空格、大小寫混用噪音信息；對于英文短文本采用詞干提取工具進行預處理；

S4、通過向量空間模型表示文本表示模型；通過選擇算法來獲取輸入的短文本特征。

2.如權利要求1所述的多維度短文本特征提取方法，其特征在于，所述步驟S2包括：

對于表情符號信息，獲取表情符號信息所對應的感情傾向信息以及表情符號信息的中文含義；將感情傾向信息以及中文含義進行處理獲得關鍵詞；將關鍵詞加入到統一的文本信息集中；

對語音信息，通過語音識別將語音信息轉換為文本信息；并通過分析語音信息中的音調獲得語音信息中的情感傾向信息；將文本信息以及情感傾向信息進行處理獲得關鍵詞；將關鍵詞加入到統一的文本信息集中。

3.如權利要求2所述的多維度短文本特征提取方法，其特征在于，所述步驟S3中通過ICTCLAS分詞系統進行分詞。

4.如權利要求3所述的多維度短文本特征提取方法，其特征在于，所述步驟S4包括：

對于經過預處理后的文本信息集，根據短文本中的詞項，抽取出具有代表性的詞條作為短文本的特征，并為每個特征賦予一定的權值，將所有特征項構成的向量表示該短文本，即文本空間實際上是由一組由數字描述的詞項所構建的向量空間。

5.如權利要求3所述的多維度短文本特征提取方法，其特征在于，

所述步驟S4還包括：

生成特征詞序號列表，根據預先設定的特征閾值，選擇相對應的特征，通過詞頻逆文檔詞頻算法獲得特征相對應的權值，最終得到提取后的特征向量；將得到的特征向量進行歸一化處理得到多維向量。

6.如權利要求3所述的多維度短文本特征提取方法，其特征在于，進行情感分析時，預先設置不同情感詞相對應的情感偏向以及正負長度值；通過情感偏向以及正負長度值得到整體感情傾向信息。

7.一種多維度短文本特征提取系統，其特征在于，其包括如下單元：

預處理單元，用于對短文本進行預處理；將短文本中信息劃分為表情符號信息、文本信息、語音信息；

分類處理單元，用于分類對短文本中各種信息進行處理并得到統一的文本信息集；

分詞處理單元，用于將統一的文本信息集中中文短文本采用分詞工具進行分詞處理，然后利用正則匹配與字符串替換來過濾掉無效字符、連續空格、大小寫混用噪音信息；對于英文短文本采用詞干提取工具進行預處理；

特征提取單元，用于通過向量空間模型表示文本表示模型；通過選擇算法來獲取輸入的短文本特征。

8.如權利要求7所述的多維度短文本特征提取系統，其特征在于，所述分類處理單元包括：

對于表情符號信息，獲取表情符號信息所對應的感情傾向信息以及表情符號信息的中文含義；將感情傾向信息以及中文含義進行處理獲得關鍵詞；將關鍵詞加入到統一的文本信息集中；

對語音信息，通過語音識別將語音信息轉換為文本信息；并通過分析語音信息中的音調獲得語音信息中的情感傾向信息；將文本信息以及情感傾向信息進行處理獲得關鍵詞；將關鍵詞加入到統一的文本信息集中；

所述分詞處理單元中通過ICTCLAS分詞系統進行分詞；

所述特征提取單元包括：

對于經過預處理后的文本信息集，根據短文本中的詞項，抽取出具有代表性的詞條作為短文本的特征，并為每個特征賦予一定的權值，將所有特征項構成的向量表示該短文本，即文本空間實際上是由一組由數字描述的詞項所構建的向量空間；

所述特征提取單元還包括：

生成特征詞序號列表，根據預先設定的特征閾值，選擇相對應的特征，通過詞頻逆文檔詞頻算法獲得特征相對應的權值，最終得到提取后的特征向量；將得到的特征向量進行歸一化處理得到多維向量。

9.如權利要求8所述的多維度短文本特征提取系統，其特征在于，進行情感分析時，預先設置不同情感詞相對應的情感偏向以及正負長度值；通過情感偏向以及正負長度值得到整體感情傾向信息。