[發明專利]多種語言文本數據分類處理方法

無效

• 申請號: 201310397617.7
• 申請日: 2013-09-04
• 公開（公告）號: CN103488623A
• 公開（公告）日: 2014-01-01
• 發明（設計）人: 程學旗;林政;張瑾;譚松波;徐學可
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 祁建國;梁揮

1.一種自學習的涉及多語言數據處理分類方法，其特征在于，包括如下步驟：

步驟1，通過第一種子詞中文或者外文“很”抽取候選情感詞，然后進行停用詞過濾，停用詞表從語料庫中自動獲取；

步驟2，通過第二種子詞“好”和第三種子詞“差”或者外文“好”“差”對情感詞和情感文本同時進行支持或反對聚類；

步驟3，通過半監督學習構建情感分類器，先從步驟2聚類的結果中挑選確信的樣本訓練初始分類器，然后融合文本的情感得分和分類器的后驗概率來挑選新樣本加入訓練集。

2.如權利要求1所述的涉及多語言數據處理分類方法，其特征在于，所述步驟1包括：

步驟21，統計語料庫中所有詞的詞頻，將超過一定閾值的高頻詞看作停用詞，自動獲得停用詞表；

步驟22，如果停用詞表中出現情感詞，則將情感詞濾除，只保留非情感詞的停用詞，得到非情感詞集合。

3.如權利要求2所述的涉及多語言數據處理分類方法，其特征在于，所述步驟2包括：

步驟31，對情感詞和情感文本進行粗略標注為正/負；文本中所包含的所有情感詞均被賦予相同的傾向性；

步驟32，對每個情感詞指定一個唯一的極性，引入KL距離法對極性模糊的情感詞進行消歧；

步驟33，對情感詞和情感文本進行迭代聚類；

步驟34，用消歧后的情感詞來重新標注情感文本作為標注集，然后再用該標注集重新標注情感詞，如此反復，迭代進行。

4.如權利要求3所述的涉及多語言數據處理分類方法，其特征在于，所述步驟3包括：

步驟41，從標注集中挑選最確信的樣本作為初始訓練集，然后在初始訓練集上訓練分類器；

步驟42，從分類器的預測結果中挑選最確信的樣本加入訓練集重新訓練分類器，迭代進行。

5.如權利要求3所述的涉及多語言數據處理分類方法，其特征在于，所述步驟3包括：

步驟43，將所有的文本按照情感詞得分進行排序，然后挑選得分最高的文本作為初始集，用于提高初始訓練集的準確率；

步驟44，新機制將分類器生成的后驗概率和文本的情感得分相加，用于防止自學習過程中的分類偏移。

6.如權利要求2所述的涉及多語言數據處理分類方法，其特征在于，步驟2還包括步驟24，對于集合S中的每一個詞統計“很”的出現頻率，并根據公式計算權重：

α(wi)=f(very,wi)Σi=1nf(very,wi)]]>