[發明專利]適用長文本預測模型的訓練方法、裝置、設備及存儲介質

在審

• 申請號: 202210950829.2
• 申請日: 2022-08-09
• 公開（公告）號: CN115293136A
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 謝國平
• 申請（專利權）人: 青牛智勝（深圳）科技有限公司
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/211;G06F40/284;G06K9/62;G06N3/08
• 代理公司: 深圳國新南方知識產權代理有限公司 44374
• 代理人: 周雷

1.一種適用長文本預測模型的訓練方法，其特征在于，包括：

獲取預標注的第一短文本語料以及基于所述第一短文本語料訓練得到的短文本預測模型；

獲取未標注的第二長文本語料，按預設切分規則依序將所述第二長文本語料進行切分，得到未標注的第二短文本語料；

利用所述短文本預測模型對所述第二短文本語料的類別標簽進行預測，將預測得到的類別標簽對所述第二短文本語料進行標注處理，得到標注好的第二短文本語料；

將標注好的所述第二短文本語料進行拼接處理，得到標注好的所述第二長文本語料，將預標注的所述第一短文本語料進行拼接處理，得到標注好的第一長文本語料；

將預標注的所述第一短文本語料、標注好的所述第一長文本語料、標注好的所述第二短文本語料、以及標注好的所述第二長文本語料進行合并處理，得到目標數據集；

利用所述目標數據集對支持長文本的長文本預測模型進行訓練，得到目標預測模型。

2.根據權利要求1所述的適用長文本預測模型的訓練方法，其特征在于，所述獲取預標注的第一短文本語料以及基于所述第一短文本語料訓練得到的短文本預測模型包括：

獲取未標注的第一長文本語料，按預設切分規則依序將所述第一長文本語料進行切分處理，得到未標注的第一短文本語料；

對未標注的所述第一短文本語料進行標注處理，得到預標注的所述第一短文本語料；

基于預標注的所述第一短文本語料訓練預構建的初始預測模型，獲得所述短文本預測模型。

3.根據權利要求1所述的適用長文本預測模型的訓練方法，其特征在于，所述利用所述短文本預測模型對所述第二短文本語料的類別標簽進行預測，將預測得到的類別標簽對所述第二短文本語料進行標注處理，得到標注好的第二短文本語料包括：

利用所述短文本預測模型對所述第二短文本語料進行預測，得到所述第二短文本語料的對應的類別標簽的預測概率；

根據所述預測概率確定所述第二短文本語料的最終類別標簽；

利用所述最終類別標簽對所述第二短文本語料進行機器標注處理，得到標注好的第二短文本語料。

4.根據權利要求3所述的適用長文本預測模型的訓練方法，其特征在于，所述根據所述預測概率確定所述第二短文本語料的最終類別標簽包括：

將所述預測概率大于預設閾值的所述類別標簽作為所述第二短文本語料的所述最終類別標簽。

5.根據權利要求1所述的適用長文本預測模型的訓練方法，其特征在于，利用所述目標數據集對支持長文本的長文本預測模型進行訓練，得到目標預測模型包括：

將所述目標數據集劃分為訓練集、驗證集和測試集；

利用所述訓練集對所述長文本預測模型進行訓練，再利用所述驗證集進行參數調整，得到所述目標預測模型。

6.根據權利要求5所述的適用長文本預測模型的訓練方法，其特征在于，所述利用所述訓練集對所述長文本預測模型進行訓練，再利用所述驗證集進行參數調整，得到所述目標預測模型之后，還包括：

利用所述目標預測模型對所述測試集進行預測，得到預測結果；

若所述預測結果未達到預設值，則進行迭代訓練。

7.根據權利要求1所述的適用長文本預測模型的訓練方法，其特征在于，所述預設切分規則為按句進行切分。