[發明專利]模型訓練方法、文本標簽生成方法、裝置、設備及介質

在審

• 申請號: 202110399762.3
• 申請日: 2021-04-14
• 公開（公告）號: CN113722422A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 牟文晶
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/9532;G06F16/9535;G06F40/30;G06N20/00
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

本申請提供了一種模型訓練方法、文本標簽生成、裝置、設備及介質，屬于自然語言處理領域。所述方法包括：獲取搜索行為信息；對所述搜索行為信息進行數據清洗，得到訓練數據；以所述訓練數據中的搜索結果數據為輸入信息，所述搜索輸入數據為監督信息，訓練得到目標模型。通過獲取搜索過程中的輸入行為和點擊行為，將輸入行為對應的搜索輸入數據以及點擊行為對應的搜索結果數據作為訓練數據，得到不需要分詞即可提取文本的關鍵信息的目標模型，從而基于該目標模型獲取文本標簽的準確率更高，從而能夠基于該文本標簽更好的對文本進行推薦。

技術領域

本申請涉及自然語言處理領域，特別涉及一種模型訓練方法、文本標簽生成方法、裝置、設備及介質。

背景技術

“召回”是推薦策略的一個重要內容，“召回”指從全量信息集合中觸發極可能多正確的結果。例如，用文本標簽來召回新聞是一種普遍的做法。

由于文本摘要是將源文本進行精簡提煉后得到的一個短語或一段語句，能夠包含源文本的關鍵信息，如新聞標題相當于新聞正文的摘要。因此能夠通過對文本摘要進行分詞，然后基于分詞得到的詞語的詞性，來獲取文本標簽。然而，由于分詞工具的效果不佳，導致獲取到的文本標簽的準確率較低。

發明內容

本申請實施例提供了一種模型訓練方法、文本標簽生成方法、裝置、設備及介質，能夠得到不需要分詞即可提取文本的關鍵信息的目標模型，從而基于該目標模型獲取文本標簽的準確率更高。所述技術方案如下：

一方面，提供了一種模型訓練方法，所述方法包括：

獲取搜索行為信息，所述搜索行為信息用于表示搜索過程中與輸入行為對應的搜索輸入數據以及與點擊行為對應的搜索結果數據；

對所述搜索行為信息進行數據清洗，得到訓練數據，所述訓練數據包括清洗后的至少一條搜索輸入數據和每條搜索輸入數據對應的至少一條搜索結果數據；

以所述訓練數據中的搜索結果數據為輸入信息，所述搜索輸入數據為監督信息，訓練得到目標模型，所述目標模型用于提取文本的文本標簽。

另一方面，提供了一種文本標簽生成方法，所述方法包括：

獲取待推薦的目標文本；

基于目標模型對所述目標文本進行處理，得到目標文本標簽；

其中，所述目標模型基于上述模型訓練方法訓練得到。

另一方面，提供了一種模型訓練裝置，所述裝置包括：

信息獲取模塊，用于獲取搜索行為信息，所述搜索行為信息用于表示搜索過程中與輸入行為對應的搜索輸入數據以及與點擊行為對應的搜索結果數據；

數據清洗模塊，用于對所述搜索行為信息進行數據清洗，得到訓練數據，所述訓練數據包括清洗后的至少一條搜索輸入數據和每條搜索輸入數據對應的至少一條搜索結果數據；

訓練模塊，用于以所述訓練數據中的搜索結果數據為輸入信息，所述搜索輸入數據為監督信息，訓練得到目標模型，所述目標模型用于提取文本的文本標簽。

在一種可選的實現方式中，所述信息獲取模塊，用于響應于第一輸入行為，獲取與所述第一輸入行為對應的第一輸入數據；響應于對展示的搜索結果的第一點擊行為，獲取與所述第一點擊行為對應的至少一個第一結果數據；響應于第二輸入行為，將所述第一輸入行為、所述第一輸入數據、所述第一點擊行為以及所述至少一個第一結果數據，獲取為一條搜索行為信息。

在一種可選的實現方式中，對所述搜索行為信息進行數據清洗的方式，包括下述至少一項：

響應于任一條搜索行為信息中的搜索輸入數據不滿足詞性條件，移除所述任一條搜索行為信息，所述詞性條件用于指示至少一種詞性；