[發明專利]網絡文本處理方法及裝置

有效

• 申請號: 201410564652.8
• 申請日: 2014-10-21
• 公開（公告）號: CN104317883B
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 何鑫;侯明午
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 李志剛,吳貴明

1.一種網絡文本處理方法，其特征在于，包括：

獲取待分析的網絡文本，其中，所述網絡文本包括多個詞匯，所述多個詞匯中至少有一個詞匯包括另一個詞匯；

獲取預設詞匯集合，其中，所述預設詞匯集合包含多個預設詞匯，所述多個預設詞匯包括第一預設詞匯和第二預設詞匯，所述第一預設詞匯的長度大于所述第二預設詞匯的長度；

按照所述多個預設詞匯的長度由長到短的順序，依次判斷所述多個預設詞匯是否出現在所述網絡文本中，其中，依次判斷所述多個預設詞匯是否出現在所述網絡文本中包括：判斷所述第一預設詞匯是否出現在所述網絡文本中，如果所述第一預設詞匯出現在所述網絡文本中，在判斷所述第二預設詞匯是否出現在所述網絡文本中時，忽略所述網絡文本中與所述第一預設詞匯相同的詞匯；以及

獲取所述網絡文本中與所述第一預設詞匯和所述第二預設詞匯相同的詞匯。

2.根據權利要求1所述的方法，其特征在于，按照以下方法對所述多個預設詞匯按詞匯長度由長到短的順序進行排序：

獲取所述多個預設詞匯的首字母；

按照首字母的順序對所述多個預設詞匯進行第一次排序；

計算所述多個預設詞匯的長度；以及

在所述第一次排序的基礎上，按照詞匯長度由長到短的順序對所述多個預設詞匯進行再次排序。

3.根據權利要求1所述的方法，其特征在于，如果所述第一預設詞匯出現在所述網絡文本中，在判斷所述第二預設詞匯是否出現在所述網絡文本中時，忽略所述網絡文本中與所述第一預設詞匯相同的詞匯包括：

如果所述第一預設詞匯出現在所述網絡文本中，在判斷所述第二預設詞匯是否出現在所述網絡文本中之前，將所述網絡文本中與所述第一預設詞匯相同的詞匯替換為非文字符號。

4.根據權利要求1所述的方法，其特征在于，如果所述第一預設詞匯出現在所述網絡文本中，在判斷所述第二預設詞匯是否出現在所述網絡文本中時，忽略所述網絡文本中與所述第一預設詞匯相同的詞匯包括：

如果所述第一預設詞匯出現在所述網絡文本中，在判斷所述第二預設詞匯是否出現在所述網絡文本中之前，記錄所述網絡文本中與所述第一預設詞匯相同的詞匯在所述網絡文本中的位置，在判斷所述第二預設詞匯是否出現在所述網絡文本中時，忽略所述網絡文本中位于所述第一預設詞匯位置處的詞匯。

5.根據權利要求1所述的方法，其特征在于，獲取所述網絡文本中與所述第一預設詞匯和所述第二預設詞匯相同的詞匯之后，所述方法還包括：

將所述網絡文本中與所述第一預設詞匯和所述第二預設詞匯相同的詞匯實例化，其中，把用類創建對象的過程稱為所述實例化；

獲取實例化的詞匯的權重；以及

對實例化的詞匯進行邏輯修正。

6.一種網絡文本處理裝置，其特征在于，包括：

第一獲取單元，用于獲取待分析的網絡文本，其中，所述網絡文本包括多個詞匯，所述多個詞匯中至少有一個詞匯包括另一個詞匯；

第二獲取單元，用于獲取預設詞匯集合，其中，所述預設詞匯集合包含多個預設詞匯，所述多個預設詞匯包括第一預設詞匯和第二預設詞匯，所述第一預設詞匯的長度大于所述第二預設詞匯的長度；

判斷單元，用于按照所述多個預設詞匯的長度由長到短的順序，依次判斷所述多個預設詞匯是否出現在所述網絡文本中，其中，依次判斷所述多個預設詞匯是否出現在所述網絡文本中包括：判斷所述第一預設詞匯是否出現在所述網絡文本中，如果所述第一預設詞匯出現在所述網絡文本中，在判斷所述第二預設詞匯是否出現在所述網絡文本中時，忽略所述網絡文本中與所述第一預設詞匯相同的詞匯；以及

第三獲取單元，用于獲取所述網絡文本中與所述第一預設詞匯和所述第二預設詞匯相同的詞匯。

7.根據權利要求6所述的裝置，其特征在于，所述裝置還包括：

第四獲取單元，用于獲取所述多個預設詞匯的首字母；

第一排序單元，用于按照首字母的順序對所述多個預設詞匯進行第一次排序；

計算單元，用于計算所述多個預設詞匯的長度；以及

第二排序單元，用于在所述第一次排序的基礎上，按照詞匯長度由長到短的順序對所述多個預設詞匯進行再次排序。