[發(fā)明專利]一種基于模型特征信息增強的BERT模型融合方法

在審

• 申請?zhí)枺?/td>: 202210176359.9
• 申請日: 2022-02-25
• 公開（公告）號: CN114580659A
• 公開（公告）日: 2022-06-03
• 發(fā)明（設計）人: 陳珂;駱歆遠;壽黎但;楊浩磊;陳剛
• 申請（專利權）人: 浙江大學
• 主分類號: G06N20/20
• 分類號: G06N20/20;G06K9/62
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種基于模型特征信息增強的BERT模型融合方法，其特征在于，該方法的具體步驟如下：

(1)首先，對于給定的N個原有模型，將其劃分為N個不同的分組，每個分組包含N-1個原有模型；

(2)然后，對于劃分后的N個分組，將每個分組中的N-1個原有模型進行融合，生成N個對應的中間模型，中間模型相比于原有模型擁有較好的表現(xiàn)效果，對原有模型的特征信息進行了增強；

(3)最后，將N個中間模型和N個原有模型，共同進行模型融合，生成一個最終的新模型。

2.根據權利要求1所述的方法，其特征在于，所述步驟(2)中，所述將每個分組中的N-1個原有模型進行融合，生成N個對應的中間模型具體為：對于N個原有模型，進行N次注意力融合，每次融合使用其中的N-1個模型，最終生成N個中間模型；每個新模型中的知識包含N-1個原有模型中的知識，對原有的N-1個模型之間的關聯(lián)性進行增強，也增強了原有N-1個模型的特征信息強度。

3.根據權利要求1所述的方法，其特征在于，所述步驟(3)具體為：對步驟(2)生成的N個中間模型和原有的N個模型進行一次注意力融合，生成最終的模型。