[發明專利]基于隱式相關性反饋來提供QA訓練數據以及訓練QA模型在審

申請號：	202010046175.1	申請日：	2020-01-16
公開（公告）號：	CN113127614A	公開（公告）日：	2021-07-16
發明（設計）人：	公明;壽林鈞;程飛翔;姜大昕	申請（專利權）人：	微軟技術許可有限責任公司
主分類號：	G06F16/332	分類號：	G06F16/332;G06F16/335;G06F16/9532;G06F16/9535
代理公司：	永新專利商標代理有限公司 72002	代理人：	張立達
地址：	美國華***	國省代碼：	暫無信息
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	基于相關性反饋提供 qa 訓練數據以及模型
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【說明書】：

本公開提供了用于基于隱式相關性反饋來提供QA訓練數據以及訓練QA模型的方法和裝置。可以從搜索日志中獲得問題?文段對以及對應的用戶行為。可以從所述用戶行為中提取行為特征。可以通過隱式相關性反饋模型，基于所述行為特征來確定所述問題與所述文段之間的相關性分數。可以基于所述相關性分數，向所述問題?文段對添加相關性標記。可以利用所獲得的自動標記的QA訓練數據來對QA模型進行預訓練，并且利用人為標記的QA訓練數據來對經預訓練的QA模型進行精調。

背景技術

搜索引擎可以在搜索結果頁面(SERP)中提供針對用戶查詢的搜索結果。傳統的搜索結果包括指向與用戶查詢最相關的web文檔的鏈接。此處，web文檔也可以被稱為例如網頁等。鏈接可以指超鏈接、網址、URL等。近年來，一些web搜索引擎開始在SERP中進一步提供問題回答(QA：question answering)服務，其也被稱為web QA服務。例如，如果查詢具有問題意圖，則web搜索引擎將會從web文檔中提取最相關的文段(passage)以回答用戶的問題，并且將該文段放置到SERP中的單獨的QA塊內。文段可以指從對應的web文檔中提取的一個或多個語句、一個或多個段落、摘要等。QA服務越來越受到搜索引擎用戶的歡迎，因為其可以避免點擊web文檔鏈接、瀏覽web文檔、尋找答案等用戶操作。

發明內容

提供本發明內容以便介紹一組概念，這組概念將在以下的具體實施方式中做進一步描述。本發明內容并非旨在標識所保護主題的關鍵特征或必要特征，也不旨在用于限制所保護主題的范圍。

本公開的實施例提出了用于基于隱式相關性反饋來提供QA訓練數據以及訓練QA模型的方法和裝置。可以從搜索日志中獲得問題-文段對以及對應的用戶行為。可以從所述用戶行為中提取行為特征。可以通過隱式相關性反饋模型，基于所述行為特征來確定所述問題與所述文段之間的相關性分數。可以基于所述相關性分數，向所述問題-文段對添加相關性標記。可以利用所獲得的自動標記的QA訓練數據來對QA模型進行預訓練，并且利用人為標記的QA訓練數據來對經預訓練的QA模型進行精調。

應當注意，以上一個或多個方面包括以下詳細描述以及權利要求中具體指出的特征。下面的說明書及附圖詳細提出了所述一個或多個方面的某些說明性特征。這些特征僅僅指示可以實施各個方面的原理的多種方式，并且本公開旨在包括所有這些方面和其等同變換。

附圖說明

以下將結合附圖描述所公開的多個方面，這些附圖被提供用以說明而非限制所公開的多個方面。

圖1示出了示例性的搜索結果頁面。

圖2示出了根據實施例的提供QA訓練數據的示例性過程。

圖3示出了根據實施例的基于標記聚合策略來提供QA訓練數據的示例性過程。

圖4示出了根據實施例的基于分數聚合策略來提供QA訓練數據的示例性過程。

圖5示出了根據實施例的基于特征聚合策略來提供QA訓練數據的示例性過程。

圖6示出了根據實施例的訓練QA模型的示例性過程。

圖7示出了根據實施例的用于基于隱式相關性反饋來提供QA訓練數據的示例性方法的流程圖。

圖8示出了根據實施例的用于基于隱式相關性反饋來訓練QA模型的示例性方法的流程圖。

圖9示出了根據實施例的用于基于隱式相關性反饋來提供QA訓練數據的示例性裝置。