[發明專利]文本處理方法和裝置

有效

• 申請號: 202111130296.5
• 申請日: 2021-09-26
• 公開（公告）號: CN113919344B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 黃劍輝
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/205;G06K9/62
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;賈允

1.一種文本處理方法，其特征在于，所述方法包括：

獲取目標文本對應的文本分詞序列和多個待識別詞；所述多個待識別詞包括所述目標文本對應的各文本分詞和至少一個組合分詞，所述至少一個組合分詞是對所述各文本分詞進行組合處理得到的；

分別獲取所述文本分詞序列對應的文本特征向量和所述多個待識別詞各自對應的分詞特征向量；

基于低秩參數矩陣分別將各分詞特征向量與所述文本特征向量進行特征融合處理，得到所述多個待識別詞各自對應的目標特征向量；所述低秩參數矩陣包括第一參數矩陣和第二參數矩陣，所述目標特征向量為將所述分詞特征向量與所述第一參數矩陣、第二參數矩陣和所述文本特征向量相乘得到的；

根據所述目標特征向量從所述多個待識別詞中識別出所述目標文本對應的目標詞。

2.根據權利要求1所述的方法，其特征在于，所述基于低秩參數矩陣分別將各分詞特征向量與所述文本特征向量進行特征融合處理，得到所述多個待識別詞各自對應的目標特征向量包括：

利用所述低秩參數矩陣分別對所述各分詞特征向量和所述文本特征向量進行語義空間映射處理，以分別將所述各分詞特征向量與所述文本特征向量映射至同一語義空間，得到所述各自對應的目標特征向量。

3.根據權利要求2所述的方法，其特征在于，所述低秩參數矩陣包括第一參數矩陣和第二參數矩陣，所述利用所述低秩參數矩陣分別對所述各分詞特征向量和所述文本特征向量進行語義空間映射處理，以分別將所述各分詞特征向量與所述文本特征向量映射至同一語義空間包括：

分別將所述各分詞特征向量，與所述第一參數矩陣、第二參數矩陣和所述文本特征向量相乘，以分別將所述各分詞特征向量與所述文本特征向量映射至同一語義空間。

4.根據權利要求1所述的方法，其特征在于，分別獲取所述文本分詞序列對應的文本特征向量和所述多個待識別詞各自對應的分詞特征向量包括：

對所述文本分詞序列進行語義編碼處理，得到對應的文本特征向量；

分別對所述多個待識別詞進行語義編碼處理，得到所述多個待識別詞各自對應的分詞特征向量。

5.根據權利要求4所述的方法，其特征在于，所述對所述文本分詞序列進行語義編碼處理，得到對應的文本特征向量包括：

采用第一嵌入網絡對所述文本分詞序列進行編碼處理，得到對應的分詞向量序列；

采用文本編碼網絡基于自注意力機制對所述分詞向量序列進行特征提取，得到所述文本特征向量。

6.根據權利要求4所述的方法，其特征在于，所述分別對所述多個待識別詞進行語義編碼處理，得到所述多個待識別詞各自對應的分詞特征向量包括：

采用第二嵌入網絡分別對所述多個待識別詞進行特征嵌入處理，得到多個待識別詞各自對應的初始分詞向量；

采用分詞編碼網絡分別對各所述初始分詞向量進行特征交叉處理，得到所述多個待識別詞各自對應的分詞特征向量。

7.根據權利要求5所述的方法，其特征在于，所述采用第一嵌入網絡對所述文本分詞序列進行編碼處理，得到對應的分詞向量序列包括：

利用所述第一嵌入網絡對所述文本分詞序列中的各文本分詞進行詞嵌入處理，得到所述各詞向量；

利用所述第一嵌入網絡，基于所述各文本分詞在所述文本分詞序列中的位置對所述各文本分詞進行位置嵌入處理，得到所述各文本分詞的位置向量；

對所述各文本分詞的詞向量和位置向量進行拼接處理，得到所述分詞向量序列。

8.根據權利要求1所述的方法，其特征在于，所述獲取目標文本對應的文本分詞序列和多個待識別詞包括：

對目標文本進行分詞處理，得到所述文本分詞序列和各文本分詞；

基于所述各文本分詞在所述目標文本中的位置順序，對所述各文本分詞進行組合處理，得到至少一個組合分詞；

將所述各文本分詞和所述至少一個組合分詞確定為所述目標文本對應的多個待識別詞。