[發(fā)明專利]模型訓練方法及裝置

在審

• 申請?zhí)枺?/td>: 202010639435.6
• 申請日: 2020-07-03
• 公開（公告）號: CN111797609A
• 公開（公告）日: 2020-10-20
• 發(fā)明（設計）人: 蔡巖松;杜新凱;牛國揚;王彥昕;劉謙;高峰
• 申請（專利權）人: 陽光保險集團股份有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/295;G06F16/35
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 唐正瑜

本申請涉及自然語言處理技術領域，提供一種模型訓練方法及裝置。其中，模型訓練方法包括：獲取通用模型，通用模型為預訓練的、與任務無關的語言模型；獲取第一語料以及第二語料，第一語料為通用領域內的語料，第二語料為目標領域內與目標任務相關的語料；基于第一語料與第二語料之間的差異性確定第一數據配比，并根據第一數據配比將兩種語料混合，獲得第一訓練數據；利用第一訓練數據訓練用于執(zhí)行目標任務的專用模型，專用模型中包括通用模型以及與目標任務相關的適配結構。該方法可視為一種對通用模型進行繼續(xù)訓練以實現領域偏移的解決方案，并且通過在第一訓練數據中合理配比第一語料與第二語料，使得訓練得到的專用模型的性能得以改善。

技術領域

本發(fā)明涉及自然語言處理技術領域，具體而言，涉及一種模型訓練方法及裝置。

背景技術

近年來，機器閱讀理解被廣泛地應用于各種文章的動態(tài)信息抽取，以及各種問答機器人的輔助上。在自然語言處理領域，一般利用訓練好的神經網絡模型執(zhí)行特定領域(如金融保險領域、政策法規(guī)領域、教育領域、通信及IT領域)內的閱讀理解任務。然而，現有的預訓練模型都是通用領域內的，用通用領域內的預訓練模型去執(zhí)行特定領域內的閱讀理解任務會損失一定程度的準確度，因此，需要將通用領域內的預訓練模型繼續(xù)訓練，來實現領域偏移，但對于該繼續(xù)訓練過程應該如何實現現有技術中并沒有很好的解決方案。

發(fā)明內容

本申請實施例的目的在于提供一種模型訓練方法及裝置，以改善上述技術問題。

為實現上述目的，本申請?zhí)峁┤缦录夹g方案：

第一方面，本申請實施例提供一種模型訓練方法，包括：獲取通用模型，所述通用模型為預訓練的、與任務無關的語言模型；獲取第一語料以及第二語料；其中，所述第一語料為通用領域內的語料，所述第二語料為目標領域內與目標任務相關的語料，所述目標任務為自然語言處理任務，所述目標領域為所述目標任務所屬的領域；基于所述第一語料與所述第二語料之間的差異性確定第一數據配比，并根據所述第一數據配比將所述第一語料與所述第二語料進行混合，獲得第一訓練數據；其中，所述第一語料與所述第二語料之間的差異性和所述第一數據配比負相關；利用所述第一訓練數據訓練用于執(zhí)行所述目標任務的專用模型；其中，所述專用模型中包括所述通用模型以及與所述目標任務相關的適配結構。

在上述方法中，通用模型是一個與任務無關的預訓練模型，專用模型則是用于執(zhí)行特定領域的目標任務的模型，并且該專用模型中包括通用模型，因此訓練該專用模型的方案也可以視為一種對通用模型進行繼續(xù)訓練以實現領域偏移的解決方案。上述目標任務是自然語言處理任務，但并不限于閱讀理解任務，也可以是文本分類任務、命名實體識別任務等。

在該方案中，首先，利用第一語料(通用領域內的數據)與第二語料(特定領域內的數據)混合產生第一訓練數據，既確保了第一訓練數據具有良好的知識強度，又使其不會過分偏向于領域知識，而放棄了通用領域內的語言表達方式，甚至出現過擬合等問題，從而有利于改善訓練得到的專用模型的性能。其次，該方案基于第一語料與第二語料之間的差異性確定兩種數據在第一訓練數據中的配比，有利于合理地平衡模型的領域性和通用性，進一步改善訓練得到的專用模型的性能。

在第一方面的一種實現方式中，所述基于所述第一語料與所述第二語料之間的差異性確定數據配比，包括：獲取第一差異系數，所述第一差異系數與所述目標領域內的關鍵詞在所述目標領域內的測試語料中出現的頻次正相關；根據所述第一語料中的文本長度與所述第二語料中的文本長度之間的差異性計算第二差異系數，所述第二差異系數與文本長度之間的差異性正相關；根據所述第一差異系數以及所述第二差異系數確定所述第一數據配比。