[發明專利]一種改寫模型的訓練方法及裝置

在審

• 申請號: 201811161706.0
• 申請日: 2018-09-30
• 公開（公告）號: CN110968759A
• 公開（公告）日: 2020-04-07
• 發明（設計）人: 王浩;龐旭林;張晨
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 北京智匯東方知識產權代理事務所(普通合伙) 11391
• 代理人: 康正德;陳智勇

1.一種改寫模型的訓練方法，包括：

收集網絡用戶基于搜索引擎的查詢記錄，基于所述查詢記錄構建訓練數據集；

獲取所述訓練數據集中的訓練數據，將所述訓練數據隨機打亂；

將所述隨機打亂后的訓練數據劃分為多份訓練樣本數據；

在所述多份訓練樣本數據中任意選取一份訓練樣本數據，將選取的所述訓練樣本數據輸入預先構建的對用戶基于搜索引擎輸入的查詢語句進行改寫的改寫模型，對所述改寫模型進行訓練。

2.根據權利要求1所述的方法，其中，所述將所述隨機打亂后的訓練數據劃分為多份訓練樣本數據，包括：

將所述隨機打亂后的訓練數據集中的訓練數據平均劃分為S份訓練樣本數據，并設定S的初始值為0。

3.根據權利要求1或2所述的方法，其中，所述在所述多份訓練樣本數據中任意選取一份訓練樣本數據，將選取的所述訓練樣本數據輸入預先構建的對用戶基于搜索引擎輸入的查詢語句進行改寫的改寫模型，對所述改寫模型進行訓練，包括：

選取第S份訓練樣本數據；

將所述第S份訓練樣本數據輸入預先構建的對用戶基于搜索引擎輸入的查詢語句進行改寫的改寫模型，對所述改寫模型進行訓練。

4.根據權利要求1-3任一項所述的方法，其中，所述將所述第S份訓練樣本數據輸入預先構建的對用戶基于搜索引擎輸入的查詢語句進行改寫的改寫模型，對所述改寫模型進行訓練，包括：

按照預設的詞匯表對所述第S份訓練樣本數據的查詢語句中的詞語進行編號；其中，所述預設的詞匯表基于所述訓練數據集構建而成；

將編號后的各詞語輸入所述改寫模型，以基于編號后的各詞語對所述改寫模型進行訓練。

5.根據權利要求1-4任一項所述的方法，其中，所述將編號后的各詞語輸入所述改寫模型，以基于編號后的各詞語對所述改寫模型進行訓練之后，還包括：

通過以下公式計算所述改寫模型訓練過程中的損失函數：

其中，loss表示損失函數，表示目標詞語，表示注意力權重，表示coverage向量，t表示t時刻。

6.根據權利要求1-5任一項所述的方法，其中，所述將所述第S份訓練樣本數據輸入預先構建的對用戶基于搜索引擎輸入的查詢語句進行改寫的改寫模型，對所述改寫模型進行訓練之后，還包括：

利用訓練好的改寫模型計算預設驗證集的損失函數；

若所述損失函數增大，則訓練結束；

若所述損失函數減小，則設定S＝S+1，并選取第S份訓練樣本數據，將所述訓練樣本數據輸入所述改寫模型，繼續對所述改寫模型進行訓練。

7.根據權利要求1-6任一項所述的方法，其中，所述收集網絡用戶基于搜索引擎的查詢記錄，基于所述查詢記錄構建訓練數據集，包括：

收集各網絡用戶基于搜索引擎的查詢記錄，并將所述查詢記錄作為初始訓練語料構建語料庫；

清洗所述語料庫中的噪聲數據，得到數據集；

分別對數據集中的查詢語句和搜索結果進行分詞，并將所述數據集的第一指定比例的數據作為訓練數據以構建所述改寫模型的訓練數據集。

8.一種改寫模型的訓練裝置，包括：

收集模塊，配置為收集網絡用戶基于搜索引擎的查詢記錄，基于所述查詢記錄構建訓練數據集；

數據獲取模塊，配置為獲取所述訓練數據集中的訓練數據，將所述訓練數據隨機打亂；

劃分模塊，配置為將所述隨機打亂后的訓練數據劃分為多份訓練樣本數據；

訓練模塊，配置為在所述多份訓練樣本數據中任意選取一份訓練樣本數據，將選取的所述訓練樣本數據輸入預先構建的對用戶基于搜索引擎輸入的查詢語句進行改寫的改寫模型，對所述改寫模型進行訓練。

9.一種計算機存儲介質，所述計算機存儲介質存儲有計算機程序代碼，當所述計算機程序代碼在計算設備上運行時，導致所述計算設備執行權利要求1-7任一項所述的改寫模型的訓練方法。

10.一種計算設備，包括：

處理器；

存儲有計算機程序代碼的存儲器；

當所述計算機程序代碼被所述處理器運行時，導致所述計算設備執行權利要求1-7任一項所述的改寫模型的訓練方法。