[發明專利]查詢文檔排序方法、裝置及電子設備

有效

• 申請號: 202011602065.5
• 申請日: 2020-12-30
• 公開（公告）號: CN112395405B
• 公開（公告）日: 2021-04-27
• 發明（設計）人: 張望舒;溫祖杰
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/338;G06F40/35
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 周嗣勇

1.一種查詢文檔排序方法，所述方法包括：

基于訓練樣本集對作為老師模型的第一排序模型進行有監督的訓練；其中，所述訓練樣本集中的訓練樣本包括查詢問句和與所述查詢問句對應的查詢文檔，所述訓練樣本被標注了指示所述訓練樣本中的查詢文檔與所述訓練樣本中的查詢問句是否匹配的標簽；所述第一排序模型包括對至少一個評分子模型進行模型融合得到的排序模型；所述第一排序模型中的評分子模型用于輸出查詢文檔對應于查詢問句的匹配度評分；所述第一排序模型用于按照所述第一排序模型中的評分子模型輸出的匹配度評分對與同一查詢問句對應的多個查詢文檔進行排序；

獲取所述第一排序模型輸出的與所述訓練樣本集對應的排序結果；

將所述訓練樣本集以及所述排序結果作為蒸餾樣本，對與所述第一排序模型對應的作為學生模型的第二排序模型進行模型蒸餾訓練，以基于訓練后的所述第二排序模型針對用戶輸入的查詢問句和與所述查詢問句對應的多個查詢文檔進行排序；其中，所述第二排序模型包括BERT子模型和評分子模型；所述第二排序模型中的BERT子模型用于輸出基于查詢問句和與所述查詢問句對應的查詢文檔進行語義表示計算得到的語義向量；所述第二排序模型中的評分子模型用于輸出與所述第二排序模型中的BERT子模型輸出的語義向量對應的匹配度評分；所述第二排序模型用于按照所述第二排序模型中的評分子模型輸出的匹配度評分對與同一查詢問句對應的多個查詢文檔進行排序；所述模型蒸餾訓練包括基于所述排序結果對所述第二排序模型進行預訓練，并基于所述訓練樣本集對預訓練后的所述第二排序模型進行模型微調。

2.根據權利要求1所述的方法，所述第一排序模型為基于XGBoost算法或者LambdaMart排序算法對至少一個評分子模型進行模型融合得到的排序模型。

3.根據權利要求1所述的方法，所述方法還包括：

獲取用戶輸入的查詢問句和與所述查詢問句對應的多個查詢文檔，并基于用戶輸入的查詢問句和與所述查詢問句對應的各個查詢文檔分別構建輸入向量；其中，所述輸入向量包括代表所述查詢問句和所述查詢文檔的整體語義的標識；

將所述輸入向量輸入至所述第二排序模型中的BERT子模型進行語義表示計算，并獲取所述BERT子模型輸出的與所述標識對應的語義向量；

將與所述標識對應的語義向量輸入至所述第二排序模型中的評分子模型，計算與所述語義向量對應的匹配度評分，并輸出按照與所述語義向量對應的匹配度評分進行排序的排序結果。

4.根據權利要求3所述的方法，所述輸出按照與所述語義向量對應的匹配度評分進行排序的排序結果，包括：

按照與所述語義向量對應的匹配度評分從大到小的順序對所述多個查詢文檔進行排序，并輸出排序后的所述多個查詢文檔。

5.根據權利要求1所述的方法，所述基于所述訓練樣本集對預訓練后的所述第二排序模型進行模型微調，包括：

基于所述訓練樣本集對預訓練后的所述第二排序模型進行模型微調，以使與所述第二排序模型中的評分子模型對應的損失函數收斂；

其中，所述損失函數包括：

；

為所述損失函數的數值，為所述訓練樣本集中與同一查詢問句的匹配度最高的查詢文檔對應于所述查詢問句的匹配度評分，為所述訓練樣本集中與所述查詢問句的匹配度排在第位的查詢文檔對應于所述查詢問句的匹配度評分，為與對應的歸一化折損累計增益和與對應的歸一化折損累計增益的差值，為預設常量的數值。

6.根據權利要求1所述的方法，所述方法還包括：

從用戶輸入的查詢問句中提取出至少一個關鍵詞；

獲取包含任一所述關鍵詞的多個查詢文檔，作為與所述查詢問句對應的多個查詢文檔。