[發明專利]文本處理方法和文本處理裝置

有效

• 申請號: 202110742760.X
• 申請日: 2021-06-30
• 公開（公告）號: CN113553857B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 丁思宇;王碩寰;孫宇
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/0455;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 張霞

1.一種文本處理方法，包括：

對待處理文本進行編碼，得到編碼后的文本數據，其中所述編碼后的文本數據包括與所述待處理文本中的每個字相對應的編碼數據以及與每個字對應的位置標識符ID；以及

將所述編碼后的文本數據輸入自然語言處理模型，得到所述文本的處理結果；

其中，所述對待處理文本進行編碼包括：針對所述待處理文本中的第一個字生成隨機的非零自然數，作為起始字的位置ID，其中，所述文本中的每個字的位置ID的數值被編碼為0至預定數值之間的數值，所述預定數值是自然語言處理模型支持的文本的最大編碼長度；

其中，針對所述待處理文本中的相鄰字，所述相鄰字的位置ID的數值之間的差值為非零自然數；

其中，當所述待處理文本中的第k個字的位置ID的數值達到所述預定數值時，從第k+1個字開始，重新執行所述編碼，其中，k是1至所述文本中的字的數量之間的任一數值。

2.根據權利要求1所述的方法，其中，所述待處理文本中的第一個字的位置ID被編碼為隨機自然數。

3.根據權利要求1或2所述的方法，其中，

所述相鄰字的位置ID的數值被編碼為位置ID的數值之間的差值為固定數值。

4.根據權利要求1或2所述的方法，其中，

所述相鄰字的位置ID的數值被編碼為位置ID的數值之間的差值為可變數值。

5.?一種文本處理裝置，包括：

編碼模塊，用于對待處理文本進行編碼，得到編碼后的文本數據，其中所述編碼后的文本數據包括與所述待處理文本中的每個字相對應的編碼數據以及與每個字對應的位置標識符ID；以及

自然語言處理模塊，被配置為將所述編碼后的文本數據輸入自然語言處理模型，得到所述文本的處理結果；

其中，所述編碼模塊包括生成子模塊，用于針對所述待處理文本中的第一個字生成隨機的非零自然數，作為起始字的位置ID，其中，所述文本中的每個字的位置ID的數值被編碼為0至預定數值之間的數值，所述預定數值是自然語言處理模型支持的文本的最大編碼長度；

其中，針對所述待處理文本中的相鄰字，所述相鄰字的位置ID的數值之間的差值為非零自然數；

其中，當所述待處理文本中的第k個字的位置ID的數值達到所述預定數值時，從第k+1個字開始，重新執行所述編碼，其中，k是1至所述文本中的字的數量之間的任一數值。

6.?一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行權利要求1-4中任一項所述的文本處理方法。

7.一種存儲有計算機指令的非瞬時計算機可讀存儲介質，其中，所述計算機指令用于使所述計算機執行根據權利要求1-4中任一項所述的文本處理方法。