[發明專利]關聯性預測模型訓練方法和裝置、摘要生成方法和裝置

在審

• 申請號: 202210124898.8
• 申請日: 2022-02-10
• 公開（公告）號: CN114461789A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 李浩然
• 申請（專利權）人: 北京京東尚科信息技術有限公司
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06F40/30;G06N20/00
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 劉劍波

本公開提供一種關聯性預測模型訓練方法和裝置、摘要生成方法和裝置。關聯性預測模型訓練方法包括：提取第一語句樣本的第一語義特征向量，以及第二語句樣本的第二語義特征向量；生成訓練樣本，其中所述訓練樣本包括所述第一語義特征向量和所述第二語義特征向量，以及預設的所述第一語句樣本和所述第二語句樣本的語義關聯性標注；將訓練樣本輸入機器學習模型，以得到第一語句樣本和第二語句樣本的語義關聯性預測結果；根據語義關聯性標注和語義關聯性預測結果確定損失函數；利用損失函數對機器學習模型進行訓練，以得到關聯性預測模型。

技術領域

本公開涉及信息處理領域，特別涉及一種關聯性預測模型訓練方法和裝置、摘要生成方法和裝置。

背景技術

目前的摘要生成方法主要是從文本中抽取中重要的句子以作為該文本的摘要。

發明內容

發明人通過研究發現，現有的摘要生成方法并不會考慮抽取出的句子的語義是否完整。例如，一個文本包括“某公司年收入超百億，超過業界水平。但是利潤只有幾百萬。”，如果摘要只抽取了第二句“但是利潤只有幾百萬。”，則第一句“某公司年收入超百億，超過業界水平。”的語義丟失會造成摘要的語義不完整，從而降低了摘要的質量。

據此，本公開提供一種摘要生成方案，能夠有效保證摘要的語義完整性。

根據本公開實施例的第一方面，提供一種關聯性預測模型訓練方法，包括：提取第一語句樣本的第一語義特征向量，以及第二語句樣本的第二語義特征向量；生成訓練樣本，其中所述訓練樣本包括所述第一語義特征向量和所述第二語義特征向量，以及預設的所述第一語句樣本和所述第二語句樣本的語義關聯性標注；將所述訓練樣本輸入機器學習模型，以得到所述第一語句樣本和所述第二語句樣本的語義關聯性預測結果；根據所述語義關聯性標注和所述語義關聯性預測結果確定損失函數；利用所述損失函數對所述機器學習模型進行訓練，以得到所述關聯性預測模型。

在一些實施例中，所述訓練樣本還包括分隔符，所述分隔符設置在所述第一語義特征向量和所述第二語義特征向量之間。

在一些實施例中，所述機器學習模型為基于轉換器的雙向編碼表征BERT模型。

根據本公開實施例的第二方面，提供一種關聯性預測模型訓練裝置，包括：第一處理模塊，被配置為提取第一語句樣本的第一語義特征向量，以及第二語句樣本的第二語義特征向量，生成訓練樣本，其中所述訓練樣本包括所述第一語義特征向量和所述第二語義特征向量，以及預設的所述第一語句樣本和所述第二語句樣本的語義關聯性標注；第二處理模塊，被配置為將所述訓練樣本輸入機器學習模型，以得到所述第一語句樣本和所述第二語句樣本的語義關聯性預測結果，根據所述語義關聯性標注和所述語義關聯性預測結果確定損失函數，利用所述損失函數對所述機器學習模型進行訓練，以得到關聯性預測模型。

在一些實施例中，所述訓練樣本還包括分隔符，所述分隔符設置在所述第一語義特征向量和所述第二語義特征向量之間。

在一些實施例中，所述機器學習模型為基于轉換器的雙向編碼表征BERT模型。

根據本公開實施例的第三方面，提供一種關聯性預測模型訓練裝置，包括：存儲器，被配置為存儲指令；處理器，耦合到存儲器，處理器被配置為基于存儲器存儲的指令執行實現如上述任一實施例所述的方法。

根據本公開實施例的第四方面，提供一種摘要生成方法，包括：提取目標文本中的全部語句；按照各語句在所述目標文本中的先后順序，將所有相鄰兩個語句的語義特征向量輸入關聯性預測模型，以獲得所有相鄰兩個語句的語義關聯性預測結果，其中所述關聯性預測模型通過上述任一實施例所述的訓練方法得到；將所有語義關聯性預測結果大于預設門限的相鄰兩個語句作為候選摘要；計算所有候選摘要中的每個語句在所述目標文本中的權重值；根據每個候選摘要中包括的全部語句的權重值確定所述每個候選摘要的權重值；將具有最大權重值的候選摘要作為所述目標文本的摘要。