[發明專利]一種文本處理方法和裝置

有效

• 申請號: 202110452764.4
• 申請日: 2021-04-26
• 公開（公告）號: CN112989054B
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 劉志煌
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F16/332;G06F40/242;G06F40/295
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 李漢亮

1.一種文本處理方法，其特征在于，包括：

獲取待處理文本，并對所述待處理文本的文本內容進行識別，得到所述待處理文本的文本詞集合和所述文本詞集合中每一文本詞對應的詞性；

根據所述文本詞的詞性，在所述文本詞集合中篩選出所述待處理文本中用于分類的目標文本詞和機構名實體，所述機構名實體用于指示所述待處理文本中出現的機構名稱；

將所述文本詞集合中每一文本詞轉換為初始文本信息，并獲取所述機構名實體和目標文本詞分別對應的文本權重；

當所述文本集合中的文本詞屬于所述機構名實體或目標文本詞時，將所述機構名實體或目標文本詞對應的文本權重作為所述文本集合中的文本詞對應的目標文本權重；

當所述文本集合中的文本詞屬于所述機構名實體和目標文本詞時，在所述文本權重中篩選出最大的文本權重作為所述文本詞集合中的文本詞對應的目標文本權重；

當所述文本集合中的文本詞不屬于所述機構名實體和目標文本詞時，在所述文本權重中篩選出最小的文本權重作為所述文本詞集合中的文本詞對應的目標文本權重；

基于所述目標文本權重，對所述初始文本信息進行加權，得到文本信息；

對所述文本信息進行特征提取，得到所述待處理文本的文本特征；

根據所述文本特征確定所述待處理文本的分配路徑，并基于所述分配路徑分配所述待處理文本。

2.根據權利要求1所述的文本處理方法，其特征在于，所述根據所述文本詞的詞性，在所述文本詞集合中篩選出所述待處理文本中用于分類的目標文本詞和機構名實體，包括：

獲取所述文本詞集合中所有文本詞的文本屬性信息；

根據所述文本詞的詞性和文本屬性信息，在所述文本詞集合中篩選出所述待處理文本中用于分類的目標文本詞；

基于預設實體識別策略，在所述文本詞集合中識別出所述機構名實體。

3.根據權利要求2所述的文本處理方法，其特征在于，所述根據所述文本詞的詞性和文本屬性信息，在所述文本詞集合中篩選出所述待處理文本中用于分類的目標文本詞，包括：

根據所述文本詞的詞性，在所述文本詞集合中篩選出所述待處理文本的主題詞，所述主題詞為表征所述待處理文本主題的詞；

基于所述文本屬性信息，在所述文本詞集合中提取出待處理文本中的關鍵詞，并將所述主題詞和關鍵詞作為用于分類的目標文本詞，所述關鍵詞為區別所述待處理文本類別的詞。

4.根據權利要求3所述的文本處理方法，其特征在于，所述根據所述文本詞的詞性，在所述文本詞集合中篩選出待處理文本的主題詞，包括：

根據預設領域詞典，對所述文本詞集合中的文本詞進行分類，得到所述文本詞集合中每一文本詞的詞類型；

獲取所述詞類型對應的初始主題權重和所述詞性對應的權重調整參數；

基于所述權重調整參數，對所述文本詞的初始主題權重進行調整，得到所述文本詞集合中每一文本詞對應的主題權重；

根據所述主題權重，在所述文本詞集合中篩選出所述待處理文本的主題詞。

5.根據權利要求3所述的文本處理方法，其特征在于，所述基于所述文本屬性信息，在所述文本詞集合中提取出待處理文本中的關鍵詞，包括：

對所述待處理文本進行文本區域劃分，并在所述文本詞集合中篩選出每一文本區域對應的候選文本詞；

根據所述文本屬性信息，統計所述候選文本詞在所述待處理文本中的詞頻信息；

基于所述詞頻信息，在所述文本詞集合中提取出所述待處理文本中的關鍵詞。

6.根據權利要求2所述的文本處理方法，其特征在于，所述基于預設實體識別策略，在所述文本詞集合中識別出所述機構名實體，包括：

根據所述預設實體識別策略，在所述文本詞集合中識別出實體，得到實體集合；

確定所述實體集合中每一實體的實體類型，并基于所述實體類型，在所述實體集合中篩選出所述機構名實體。