[發明專利]模型訓練方法及裝置

在審

• 申請號: 202010639435.6
• 申請日: 2020-07-03
• 公開（公告）號: CN111797609A
• 公開（公告）日: 2020-10-20
• 發明（設計）人: 蔡巖松;杜新凱;牛國揚;王彥昕;劉謙;高峰
• 申請（專利權）人: 陽光保險集團股份有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/295;G06F16/35
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐正瑜

1.一種模型訓練方法，其特征在于，包括：

獲取通用模型，所述通用模型為預訓練的、與任務無關的語言模型；

獲取第一語料以及第二語料；其中，所述第一語料為通用領域內的語料，所述第二語料為目標領域內與目標任務相關的語料，所述目標任務為自然語言處理任務，所述目標領域為所述目標任務所屬的領域；

基于所述第一語料與所述第二語料之間的差異性確定第一數據配比，并根據所述第一數據配比將所述第一語料與所述第二語料進行混合，獲得第一訓練數據；其中，所述第一語料與所述第二語料之間的差異性和所述第一數據配比負相關；

利用所述第一訓練數據訓練用于執行所述目標任務的專用模型；其中，所述專用模型中包括所述通用模型以及與所述目標任務相關的適配結構。

2.根據權利要求1所述的訓練方法，其特征在于，所述基于所述第一語料與所述第二語料之間的差異性確定數據配比，包括：

獲取第一差異系數，所述第一差異系數與所述目標領域內的關鍵詞在所述目標領域內的測試語料中出現的頻次正相關；

根據所述第一語料中的文本長度與所述第二語料中的文本長度之間的差異性計算第二差異系數，所述第二差異系數與文本長度之間的差異性正相關；

根據所述第一差異系數以及所述第二差異系數確定所述第一數據配比。

3.根據權利要求2所述的訓練方法，其特征在于，所述目標任務為抽取式閱讀理解任務，所述根據所述第一語料中的文本長度與所述第二語料中的文本長度之間的差異性計算第二差異系數，包括：

計算所述第一語料中閱讀理解的文章平均長度L1、問題平均長度L2以及答案平均長度L3；

計算所述第二語料中閱讀理解的文章平均長度P1、問題平均長度P2以及答案平均長度P3；

根據P1與L1的差異性、P2與L2的差異性以及P3與L3的差異性計算所述第二差異系數；其中，所述第二差異系數分別與所述P1與L1的差異性、所述P2與L2的差異性以及所述P3與L3的差異性正相關。

4.根據權利要求1所述的訓練方法，其特征在于，所述利用所述第一訓練數據訓練用于執行所述目標任務的專用模型，包括：

在利用所述第一訓練數據訓練所述專用模型的過程中，定期利用驗證集評估所述專用模型的收斂程度，并根據所述收斂程度設置訓練過程中使用的學習率；其中，所述學習率被設置為與所述收斂程度負相關。

5.根據權利要求4所述的訓練方法，其特征在于，所述學習率為帶Warm-up的衰減學習率，所述在利用所述第一訓練數據訓練所述專用模型的過程中，定期利用驗證集評估所述專用模型的收斂程度，并根據所述收斂程度設置訓練過程中使用的學習率，包括：

在利用所述第一訓練數據訓練所述專用模型的過程中的學習率衰減階段，定期利用驗證集評估所述專用模型的收斂程度，并根據所述收斂程度減小所述學習率的取值；其中，所述學習率取值的減小量與所述收斂程度負相關。

6.根據權利要求1所述的訓練方法，其特征在于，所述目標任務為抽取式閱讀理解任務，所述目標任務的答案滿足第一統計規律，獲取第二語料，包括：

根據所述目標領域搜索和/或構造用于抽取式閱讀理解的語料，并從中篩選出答案滿足所述第一統計規律的語料作為所述第二語料。

7.根據權利要求1-6中任一項所述的訓練方法，其特征在于，所述獲取通用模型，包括：

獲取原始通用模型，所述原始通用模型為預訓練的、所述通用領域內的語言模型；

獲取第三語料以及第四語料；其中，所述第三語料為所述通用領域內的語料，所述第四語料為所述目標領域內的語料；

基于所述第三語料與所述第四語料之間的差異性確定第二數據配比，并根據所述第二數據配比將所述第三語料與所述第四語料進行混合，獲得第二訓練數據；其中，所述第三語料與所述第四語料之間的差異性和所述第二數據配比負相關；

利用所述第二訓練數據訓練所述原始通用模型，獲得所述通用模型。