[發明專利]關聯性預測模型訓練方法和裝置、摘要生成方法和裝置

在審

• 申請號: 202210124898.8
• 申請日: 2022-02-10
• 公開（公告）號: CN114461789A
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 李浩然
• 申請（專利權）人: 北京京東尚科信息技術有限公司
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06F40/30;G06N20/00
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 劉劍波

1.一種關聯性預測模型訓練方法，包括：

提取第一語句樣本的第一語義特征向量，以及第二語句樣本的第二語義特征向量；

生成訓練樣本，其中所述訓練樣本包括所述第一語義特征向量和所述第二語義特征向量，以及預設的所述第一語句樣本和所述第二語句樣本的語義關聯性標注；

將所述訓練樣本輸入機器學習模型，以得到所述第一語句樣本和所述第二語句樣本的語義關聯性預測結果；

根據所述語義關聯性標注和所述語義關聯性預測結果確定損失函數；

利用所述損失函數對所述機器學習模型進行訓練，以得到所述關聯性預測模型。

2.根據權利要求1所述的方法，其中，

所述訓練樣本還包括分隔符，所述分隔符設置在所述第一語義特征向量和所述第二語義特征向量之間。

3.根據權利要求1或2所述的方法，其中，

所述機器學習模型為基于轉換器的雙向編碼表征BERT模型。

4.一種關聯性預測模型訓練裝置，包括：

第一處理模塊，被配置為提取第一語句樣本的第一語義特征向量，以及第二語句樣本的第二語義特征向量，生成訓練樣本，其中所述訓練樣本包括所述第一語義特征向量和所述第二語義特征向量，以及預設的所述第一語句樣本和所述第二語句樣本的語義關聯性標注；

第二處理模塊，被配置為將所述訓練樣本輸入機器學習模型，以得到所述第一語句樣本和所述第二語句樣本的語義關聯性預測結果，根據所述語義關聯性標注和所述語義關聯性預測結果確定損失函數，利用所述損失函數對所述機器學習模型進行訓練，以得到所述關聯性預測模型。

5.根據權利要求4所述的裝置，其中，

所述訓練樣本還包括分隔符，所述分隔符設置在所述第一語義特征向量和所述第二語義特征向量之間。

6.根據權利要求4或5所述的裝置，其中，

所述機器學習模型為基于轉換器的雙向編碼表征BERT模型。

7.一種關聯性預測模型訓練裝置，包括：

存儲器，被配置為存儲指令；

處理器，耦合到存儲器，處理器被配置為基于存儲器存儲的指令執行實現如權利要求1-3中任一項所述的方法。

8.一種摘要生成方法，包括：

提取目標文本中的全部語句；

按照各語句在所述目標文本中的先后順序，將所有相鄰兩個語句的語義特征向量輸入關聯性預測模型，以獲得所有相鄰兩個語句的語義關聯性預測結果，其中所述關聯性預測模型通過權利要求1-3中任一項所述的訓練方法得到；

將所有語義關聯性預測結果大于預設門限的相鄰兩個語句作為候選摘要；

計算所有候選摘要中的每個語句在所述目標文本中的權重值；

根據每個候選摘要中包括的全部語句的權重值確定所述每個候選摘要的權重值；

將具有最大權重值的候選摘要作為所述目標文本的摘要。

9.根據權利要求8所述的方法，其中，在計算所有候選摘要中的每個語句在所述目標文本中的權重值之前，還包括：

判斷是否存在具有相同語句的兩個候選摘要；

若存在具有相同語句的兩個候選摘要，則將所述兩個候選摘要合并。

10.根據權利要求8所述的方法，其中，

所述每個候選摘要的權重值為所述每個候選摘要中包括的全部語句的權重值的平均值。

11.根據權利要求8-10中任一項所述的方法，其中，計算所有候選摘要中的每個語句在所述目標文本中的權重值包括：

利用文本排序TextRank算法計算所有候選摘要中的每個語句在所述目標文本中的權重值。