[發明專利]預訓練模型處理、下游任務處理方法、裝置及存儲介質

有效

• 申請號: 202010940820.4
• 申請日: 2020-09-09
• 公開（公告）號: CN112016300B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 朱威
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06N3/04;G06N3/08
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 張美君

本發明涉及人工智能技術領域，尤其涉及到自然語言處理應用領域中，提供了一種基于深度學習的預訓練模型處理方法、基于預訓練模型的下游任務處理方法，以及方法相應的裝置和介質。方法部分包括：對中文語料的漢字進行獨立拆解，以獲取多個獨立漢字；將多個獨立漢字中的每個漢字進行部首拆解，得到每個獨立漢字的所有部首；將組成獨立漢字的所有部首進行編碼處理，以獲取每個獨立漢字對應的部首標記向量；根據部首標記向量獲取每個獨立漢字的漢字表征向量；將組成句子的所有獨立漢字的漢字表征向量序列作為句子對應的句子標記向量；根據多個句子中對應的部首標記向量和句子標記向量對中文預料進行自監督學習訓練，以獲取目標預訓練模型。

技術領域

本發明涉及人工智能技術領域，應用到自然語言處理領域中，尤其涉及一種基于深度學習的預訓練模型處理方法、基于預訓練模型的下游任務處理方法，以及對應裝置和存儲介質。

背景技術

遷移學習，在計算機視覺領域中是一種很流行的方法，通過遷移學習可以建立精確的模型，耗時更短。利用遷移學習，不是從零開始學習，而是從之前解決各種問題時學到的模型中開始，避免從零開始訓練模型。

遷移學習通常是通過使用預訓練模型(pretrain models)來表示，預訓練模型是在大型基準數據集上訓練得到的模型，例如BERT等大型預訓練語言模型，其利用在大量語料進行預訓練得到，預訓練模型的提出，只需在預訓練模型后接上特定地網絡結構，即能完成某種特定任務，例如文本篩選等。因為預訓練模型已經利用大量地語料的進行無監督學習，已將語料中的知識遷移進了預訓練模型的Eembedding中，因此，只需在針對特定任務增加網絡結構來進行微調，即可適應某種特定任務。

現有技術中，在訓練中文的預訓練模型時，大部分采用谷歌BERT的中文詞匯表，但是這個谷歌BERT的中文詞匯表中，是將中文字單獨拆拆開，也就是逐個字的詞匯表。很明顯，由于中文文字較多，這樣的中文詞匯表，其詞表的文字量比較巨大，通常有至少2 萬以上的字量，使得模型參數量較大，特別是用于訓練較小模型時候，大詞表將導致模型參數量降低不下去，在實際工業應用時候，也容易使得模型體積大，推理速度慢，訓練效率較低。

發明內容

本發明提供一種基于深度學習的預訓練模型處理方法、基于預訓練模型的下游任務處理方法，以解決現有技術進行預訓練時，容易使得模型體積大，推理速度慢，導致訓練效率慢的問題。

一種基于深度學習的預訓練模型處理方法，包括：

獲取中文語料，并將所述中文語料進行句子分割，得到多個句子；

對所述多個句子的漢字進行獨立拆解，以獲取每個句子的多個獨立漢字；

將所述多個獨立漢字中的每個漢字進行部首拆解，得到每個所述獨立漢字的所有部首；

將組成所述獨立漢字的所有部首進行編碼處理，以獲取每個所述獨立漢字對應的部首標記向量；

根據所述部首標記向量獲取每個所述獨立漢字的漢字表征向量；

將組成所述句子的所有獨立漢字的漢字表征向量序列作為所述句子對應的句子標記向量；

根據所述多個句子中對應的所述部首標記向量和所述句子標記向量對所述中文預料進行自監督學習訓練，以獲取目標預訓練模型。

一種基于預訓練模型的下游任務處理方法，包括：

獲取目標預訓練模型的下游任務訓練數據，其中，所述目標預訓練模型為所述預訓練模型處理方法得到的目標預訓練模型；

通過所述下游任務訓練數據對所述目標預訓練模型進行微調，以獲取下游任務處理模型，

使用所述下游任務處理模型對待處理本文數據進行處理，以獲取模型處理結果。

一種基于深度學習的預訓練模型處理裝置，所述裝置包括：