[發明專利]一種短文本匹配方法、裝置及存儲介質

在審

• 申請號: 202010002680.6
• 申請日: 2020-01-02
• 公開（公告）號: CN113065038A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 仲偉
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06N3/04;G06N3/08
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

1.一種短文本匹配方法，其特征在于，該方法包括：

使用深度學習框架搭建基于GRU網絡的詞向量序列匹配模型；

利用預先收集的標注有匹配標記的語料樣本，對所述基于GRU網絡的詞向量序列匹配模型進行訓練；其中，每一語料樣本中包括兩個短文本；

確定兩個待匹配短文本各自對應的詞向量序列，將兩個待匹配短文本各自對應的詞向量序列輸入訓練好的基于GRU網絡的詞向量序列匹配模型，得到兩個待匹配文本的相似度。

2.根據權利要求1所述的方法，其特征在于，

利用深度學習框架搭建基于GRU網絡的詞向量序列匹配模型，包括：

配置兩個GRU網絡，對該兩個GRU網絡進行輸入設置和輸出設置，其中，每一GRU網絡的輸入是一個短文本對應的詞向量序列，輸出是該短文本對應的語義特征；

配置一余弦距離計算模塊，將該兩個GUN網絡輸出作為所述余弦距離計算模塊的輸入；

將所述余弦距離計算模塊的輸出作為搭建的詞向量序列匹配模型的輸出。

3.根據權利要求1所述的方法，其特征在于，

利用深度學習框架搭建基于GRU網絡的詞向量序列匹配模型，包括：

配置兩個GRU網絡，對該兩個GRU網絡進行輸入設置和輸出設置，其中，每一GRU網絡的輸入是一個短文本對應的詞向量序列，輸出是該短文本對應的語義特征；

配置一多層感知機，將該兩個GUN網絡輸出作為所述多層感知機的輸入；

配置一多分類器，將所述多層感知機的輸出作為所述多分類器的輸入；

將所述多分類器的輸出作為搭建的詞向量序列匹配模型的輸出。

4.根據權利要求2或3所述的方法，其特征在于，

利用預先收集的標注有匹配標記的語料樣本，對所述基于GRU網絡的詞向量序列匹配模型進行訓練得到GRU模型，包括：

確定收集的每一語料樣本中包括的每一短文本對應的詞向量序列；

按照預設最大詞向量序列長度對該短文本對應的詞向量序列進行補零操作，使其與其它短文本對應的詞向量序列保持相同長度；

利用每一語料樣本中包括的兩個短文本各自對應的經補零操作后的詞向量序列，對所述基于GRU網絡的詞向量序列匹配模型進行訓練得到GRU模型。

5.根據權利要求4所述的方法，其特征在于，

該方法進一步包括：在所述基于GRU網絡的詞向量序列匹配模型中的GRU網絡所在的層之前套一層Embeding層或者Masking層，以對輸入到所述GRU網絡的詞向量序列中所補的零進行過濾。

6.根據權利要求1或4所述的方法，其特征在于，

確定一短文本對應的詞向量序列的方法為：

對該短文本進行預處理；

將經預處理后的該短文本進行切詞得到該短文本對應的詞列表；

將該短文本對應的詞列表進行量化得到該短文本對應的詞向量序列，并清除該短文本對應的詞向量序列中的停用詞對應的詞向量。

7.根據權利要求6所述的方法，其特征在于，

對該短文本進行預處理，包括：

刪除該短文本中拼寫錯誤或內容重復的句子；

將該短文本中標點、數字和大小寫不規范的英文字母過濾。

8.根據權利要求1所述的方法，其特征在于，

利用預先收集的標注有匹配標記的語料樣本，對所述基于GRU網絡的詞向量序列匹配模型進行訓練時，采用的損失函數為交叉熵損失函數，所述交叉熵損失函數具體為：

其中，loss是損失值，y_i是標注的匹配標記，p_i是每個語料樣本中的兩個短文本的匹配概率。