[發明專利]預訓練模型處理、下游任務處理方法、裝置及存儲介質

有效

• 申請號: 202010940820.4
• 申請日: 2020-09-09
• 公開（公告）號: CN112016300B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 朱威
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06N3/04;G06N3/08
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 張美君

1.一種基于深度學習的預訓練模型處理方法，其特征在于，包括：

獲取中文語料，并將所述中文語料進行句子分割，得到多個句子；

對所述多個句子的漢字進行獨立拆解，以獲取每個句子的多個獨立漢字；

將所述多個獨立漢字中的每個漢字進行部首拆解，得到每個所述獨立漢字的所有部首；

將組成所述獨立漢字的所有部首進行編碼處理，以獲取每個所述獨立漢字對應的部首標記向量；

根據所述部首標記向量獲取每個所述獨立漢字的漢字表征向量；

將組成所述句子的所有獨立漢字的漢字表征向量序列作為所述句子對應的句子標記向量；

根據所述多個句子中對應的所述部首標記向量和所述句子標記向量對所述中文語料進行自監督學習訓練，以獲取目標預訓練模型。

2.如權利要求1所述的預訓練模型處理方法，其特征在于，所述目標預訓練模型的層級網絡包括部首到字層級預訓練網絡和字到句層級預訓練網絡，所述根據所述多個句子中對應的所述部首標記向量和所述句子標記向量對所述中文語料進行自監督學習訓練，以獲取目標預訓練模型，包括：

將所述多個句子中對應的所述部首標記向量輸入至所述部首到字層級預訓練網絡中進行自監督學習訓練；

將所述部首到字層級預訓練網絡的輸出和所述多個句子對應的所述句子標記向量輸入至所述字到句層級預訓練網絡進行自監督學習訓練，以獲取所述目標預訓練模型。

3.如權利要求2所述的預訓練模型處理方法，其特征在于，所述將所述多個句子中對應的所述部首標記向量輸入至所述部首到字層級預訓練網絡中進行自監督學習訓練，包括：

將所述多個句子中每個所述獨立漢字的每個部首的部首位置信息進行編碼，以獲取每個所述獨立漢字對應的部首位置向量；

將組成所述句子的部分獨立漢字的部分部首進行掩碼處理，以獲取每個所述獨立漢字對應的部首掩碼向量；

對所述獨立漢字位于對應句子的漢字位置信息進行編碼，以獲取每個所述獨立漢字對應的漢字位置向量；

將所述多個句子中，每個所述獨立漢字對應的所述部首標記向量、部首位置向量、部首掩碼向量和漢字位置向量所述輸入至所述部首到字層級預訓練網絡中進行自監督學習訓練。

4.如權利要求3所述的預訓練模型處理方法，其特征在于，所述將所述部首到字層級網絡的輸出和所述句子標記向量輸入至所述字到句層級網絡進行自監督學習訓練，以獲取所述目標預訓練模型，包括：

對每個所述獨立漢字對應的所述部首標記向量、部首位置向量、部首掩碼向量和漢字位置向量進行拼接，以獲取每個所述獨立漢字的漢字表征向量；

將組成所述句子的所有獨立漢字的所述漢字表征向量序列作為句子對應的句子標記向量；

對所述句子位于所述中文語料的句子位置信息進行編碼，以獲取每個所述句子對應的句子位置向量；

將所述中文語料中每個句子對應的所述句子標記向量、句子位置向量和所述部首到字層級預訓練網絡的輸出，輸入至所述字到句層級預訓練網絡進行訓練，以獲取所述目標預訓練模型。

5.如權利要求2-4任一項所述的預訓練模型處理方法，其特征在于，所述部首到字層級預訓練網絡為第一BERT網絡，所述字到句層級預訓練網絡為第二BERT網絡。

6.如權利要求5所述的預訓練模型處理方法，其特征在于，所述第一BERT網絡和所述第二BERT網絡各自均包括多個Transformer編碼器，所述Transformer編碼器包括多頭注意力層和前饋神經網絡層；

其中，同個所述Transformer編碼器內的多頭注意力層和前饋神經網絡層連接，所述BERT網絡中，首級Transformer編碼器的多頭注意力層為網絡輸入層，尾級Transformer編碼器的前饋神經網絡層為網絡輸出層，中間層級的Transformer編碼器中，上一級Transformer編碼器的前饋神經網絡層連接至下一級Transformer編碼器的多頭注意力層。