[發明專利]一種改寫模型的訓練方法及裝置

在審

• 申請號: 201811161706.0
• 申請日: 2018-09-30
• 公開（公告）號: CN110968759A
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 王浩;龐旭林;張晨
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 北京智匯東方知識產權代理事務所(普通合伙) 11391
• 代理人: 康正德;陳智勇

本發明提供了一種改寫模型的訓練方法及裝置，所述方法包括：收集網絡用戶基于搜索引擎的查詢記錄，基于所述查詢記錄構建訓練數據集；獲取所述訓練數據集中的訓練數據，將所述訓練數據隨機打亂；將所述隨機打亂后的訓練數據劃分為多份訓練樣本數據；在所述多份訓練樣本數據中任意選取一份訓練樣本數據，將選取的所述訓練樣本數據輸入預先構建的對用戶基于搜索引擎輸入的查詢語句進行改寫的改寫模型，對所述改寫模型進行訓練。基于本發明實施例提供的改寫模型的訓練方法，基于網絡用戶通過搜索引擎的真實搜索查詢記錄進行匯總處理后的訓練數據集訓練獲得，可進一步提升改寫模型的訓練效率，使得改寫模型對查詢語句的改寫更加準確高效。

技術領域

本發明涉及機器學習技術領域，特別是涉及一種改寫模型的訓練方法及裝置。

背景技術

伴隨著搜索引擎技術的不斷發展，用戶常常會基于搜索引擎獲取多種多樣的網絡信息。在用戶向搜索引擎輸入查詢語句時，可能是口語化描述的自然語言查詢，進而導致搜索引擎基于此所獲取的查詢結果與用戶的查詢意圖相差較大。因此，為了更加精準的查詢可利用改寫模型對用戶的查詢語句進行改寫。改寫模型屬于機器學習中的神經網絡模型，如何對已構建的改寫模型進行訓練，從而提升改寫的準確性是亟待解決的問題。

發明內容

本發明提供了一種改寫模型的訓練方法及裝置以克服上述問題或者至少部分地解決上述問題。

根據本發明的一個方面，提供了一種改寫模型的訓練方法，包括：

收集網絡用戶基于搜索引擎的查詢記錄，基于所述查詢記錄構建訓練數據集；

獲取所述訓練數據集中的訓練數據，將所述訓練數據隨機打亂；

將所述隨機打亂后的訓練數據劃分為多份訓練樣本數據；

在所述多份訓練樣本數據中任意選取一份訓練樣本數據，將選取的所述訓練樣本數據輸入預先構建的對用戶基于搜索引擎輸入的查詢語句進行改寫的改寫模型，對所述改寫模型進行訓練。

可選地，所述將所述隨機打亂后的訓練數據劃分為多份訓練樣本數據，包括：

將所述隨機打亂后的訓練數據集中的訓練數據平均劃分為S份訓練樣本數據，并設定S的初始值為0。

可選地，所述在所述多份訓練樣本數據中任意選取一份訓練樣本數據，將選取的所述訓練樣本數據輸入預先構建的對用戶基于搜索引擎輸入的查詢語句進行改寫的改寫模型，對所述改寫模型進行訓練，包括：

選取第S份訓練樣本數據；

將所述第S份訓練樣本數據輸入預先構建的對用戶基于搜索引擎輸入的查詢語句進行改寫的改寫模型，對所述改寫模型進行訓練。

可選地，所述將所述第S份訓練樣本數據輸入預先構建的對用戶基于搜索引擎輸入的查詢語句進行改寫的改寫模型，對所述改寫模型進行訓練，包括：

按照預設的詞匯表對所述第S份訓練樣本數據的查詢語句中的詞語進行編號；其中，所述預設的詞匯表基于所述訓練數據集構建而成；

將編號后的各詞語輸入所述改寫模型，以基于編號后的各詞語對所述改寫模型進行訓練。

可選地，所述將編號后的各詞語輸入所述改寫模型，以基于編號后的各詞語對所述改寫模型進行訓練之后，還包括：

通過以下公式計算所述改寫模型訓練過程中的損失函數：

其中，loss表示損失函數，表示目標詞語，表示注意力權重，表示coverage向量，t表示t時刻。

可選地，所述將所述第S份訓練樣本數據輸入預先構建的對用戶基于搜索引擎輸入的查詢語句進行改寫的改寫模型，對所述改寫模型進行訓練之后，還包括：