[發明專利]用于文本處理的方法和裝置

在審

• 申請號: 202010127184.3
• 申請日: 2020-02-28
• 公開（公告）號: CN111339256A
• 公開（公告）日: 2020-06-26
• 發明（設計）人: 彭爽;崔恒斌
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332;G06F40/211;G06N3/04;G06N3/08
• 代理公司: 北京永新同創知識產權代理有限公司 11376
• 代理人: 楊錫勱;趙磊

1.一種用于文本處理的方法，包括：

接收第一文本向量和第二文本向量，其中，所述第一文本向量用于表示用戶問句文本，所述第二文本向量用于表示候選問句文本，所述候選問句文本是從知識庫中獲取的，所述知識庫包括至少一個現有問句文本以及針對各個現有問句文本的答案文本；

利用遞歸神經網絡RNN和卷積神經網絡CNN，對所述第一文本向量和所述第二文本向量進行編碼，得到針對所述第一文本向量的第一編碼結果和針對所述第二文本向量的第二編碼結果；

基于所述第一編碼結果和所述第二編碼結果，確定所述用戶問句文本與所述候選問句文本之間的相似度，其中，所述相似度用于確定針對所述用戶問句文本的答復。

2.根據權利要求1所述的方法，其中，所述第一編碼結果包括第一初始編碼向量和第一二次編碼向量，所述第二編碼結果包括第二初始編碼向量和第二二次編碼向量；

對所述第一文本向量和所述第二文本向量進行編碼，包括：

利用所述RNN對所述第一文本向量進行編碼，得到所述第一初始編碼向量，以及利用所述CNN對所述第一初始編碼向量進行編碼，得到所述第一二次編碼向量；

利用所述RNN對所述第二文本向量進行編碼，得到所述第二初始編碼向量，以及利用所述CNN對所述第二初始編碼向量進行編碼，得到所述第二二次編碼向量。

3.根據權利要求2所述的方法，其中，確定所述用戶問句文本與所述候選問句文本之間的相似度，包括：

基于軟注意力機制對所述第一編碼結果和所述第二編碼結果進行處理，得到針對所述用戶問句文本的第一交互表示結果和針對所述候選問句文本的第二交互表示結果；

基于所述第一交互表示結果和所述第二交互表示結果，確定所述相似度。

4.根據權利要求3所述的方法，其中，基于軟注意力機制對所述第一編碼結果和所述第二編碼結果進行處理，包括：

基于所述第一初始編碼向量和所述第二初始編碼向量，確定所述用戶問句文本相對于所述候選問句文本的第一相對注意力向量、以及所述候選問句文本相對于所述用戶問句文本的第二相對注意力向量；

通過拼接操作和池化操作對所述第一相對注意力向量、所述第一初始編碼向量和所述第一二次編碼向量進行處理，得到所述第一交互表示結果；

通過拼接操作和池化操作對所述第二相對注意力向量、所述第二初始編碼向量和所述第二二次編碼向量進行處理，得到所述第二交互表示結果。

5.根據權利要求3或4所述的方法，其中，基于所述第一交互表示結果和所述第二交互表示結果，確定所述相似度，包括：

基于門限機制對所述第一交互表示結果和所述第二交互表示結果進行融合，得到融合結果，其中，所述門限機制用于篩選出所述第一交互表示結果和所述第二交互表示結果兩者中能夠融合的部分；

基于所述融合結果，確定所述用戶問句文本與所述候選問句文本相似的概率，作為所述相似度。

6.根據權利要求1至5中任一項所述的方法，其中，所述CNN包括至少兩級卷積層，在所述至少兩級卷積層中，第一級卷積層包括卷積核大小為1的至少一個CNN單元，在所述第一級卷積層之后的各級卷積層包括卷積核大小大于1的至少一個CNN單元。

7.根據權利要求1至6中任一項所述的方法，其中，所述RNN包括雙向門控遞歸單元BiGRU。

8.一種用于文本處理的裝置，包括：

接收模塊，其接收第一文本向量和第二文本向量，其中，所述第一文本向量用于表示用戶問句文本，所述第二文本向量用于表示候選問句文本，所述候選問句文本是從知識庫中獲取的，所述知識庫包括至少一個現有問句文本以及針對各個現有問句文本的答案文本；

編碼模塊，其利用遞歸神經網絡RNN和卷積神經網絡CNN，對所述第一文本向量和所述第二文本向量進行編碼，得到針對所述第一文本向量的第一編碼結果和針對所述第二文本向量的第二編碼結果；

確定模塊，其基于所述第一編碼結果和所述第二編碼結果，確定所述用戶問句文本與所述候選問句文本之間的相似度，其中，所述相似度用于確定針對所述用戶問句文本的答復。