[發明專利]一種文本特征提取方法和裝置

無效

• 申請號: 201210419624.8
• 申請日: 2012-10-29
• 公開（公告）號: CN103793385A
• 公開（公告）日: 2014-05-14
• 發明（設計）人: 鄒維;尹華彬;周暢;楊俊松;宮建濤;吳振宇;寧合軍
• 申請（專利權）人: 深圳市世紀光速信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 張玉波;宋志強

1.一種文本特征提取方法，其特征在于，該方法包括：

對于特征詞庫中的特征詞F_i，根據預先建立的樣本庫中包含所述特征詞F_i的樣本中該特征詞F_i的出現次數以及包含該特征詞F_i的樣本所具有的標簽，確定該特征詞F_i與標簽庫中的每個標簽之間的互信息；

對目標文檔進行分詞，獲得所述目標文檔中出現的所有特征詞；

基于目標文檔中的每個特征詞與每個標簽之間的互信息，確定所述目標文檔中的每個特征詞對每個標簽的權重，將所述目標文檔中的所有特征詞對同一個標簽的權重進行加權，得到所述目標文檔中的所有特征詞對同一個標簽的總權重；

根據各個標簽的所述總權重，從所述各個標簽中確定出目標標簽作為所述目標文檔的文本特征。

2.根據權利要求1所述的方法，其特征在于，確定該特征詞F_i與標簽庫中的每個標簽之間的互信息包括：

將特征詞F_i與標簽庫中的標簽T_j的互信息確定為：

MI(Fi,Tj)=logΣk=0nlog(e-1+Num)N×p(Fi)×p(Tj)]]>

其中，n是預先建立的樣本庫中出現了特征詞F_i且具有標簽T_j的樣本個數、Num是出現了特征詞F_i且具有標簽T_j的第k個樣本中特征詞F_i出現的次數、p(F_i)是特征詞F_i在樣本庫中的所有樣本中出現的總次數除以樣本庫中的所有樣本中的所有特征詞出現的總次數所得的結果，p(T_j)是樣本庫中具有標簽T_j的樣本個數除以樣本庫中的樣本總個數所得的結果。

3.一種文本特征提取方法，其特征在于，該方法包括：

對目標文檔進行分詞，獲得所述目標文檔中出現的所有特征詞；

確定所述目標文檔中的每個特征詞對每個標簽的權重，將所述目標文檔中的所有特征詞對同一個標簽的權重進行加權，得到所述目標文檔中的所有特征詞對同一個標簽的總權重；

根據各個標簽的所述總權重，從所述各個標簽中確定出目標標簽作為所述目標文檔的文本特征；

其中，確定所述目標文檔中的每個特征詞對每個標簽的權重包括：

根據特征詞F_i與標簽T_j的互信息MI(F_i,T_j)、該特征詞F_i在所述目標文檔中出現的次數TF(F_i)、以及該特征詞的重要程度IDF(F_i)確定該特征詞F_i對標簽T_j的權重，其中，預先建立的樣本庫中包含該特征詞F_i的樣本個數越多，該特征詞F_i的重要程度IDF(F_i)越低。