[發明專利]一種基于模型特征信息增強的BERT模型融合方法

在審

• 申請號: 202210176359.9
• 申請日: 2022-02-25
• 公開（公告）號: CN114580659A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 陳珂;駱歆遠;壽黎但;楊浩磊;陳剛
• 申請（專利權）人: 浙江大學
• 主分類號: G06N20/20
• 分類號: G06N20/20;G06K9/62
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于模型特征信息增強的BERT模型融合方法，該方法首先對所有的原模型進行部分模型融合，生成對應的中間模型，這些中間模型包含了原模型的特征信息，對原有模型進行了增強。然后對原有模型和中間模型共同進行模型融合，生成最終的新模型本發明通過增強原模型的特征信息，使得融合后的新模型可以獲取到更多原模型相關的特征信息，進而提高了融合后新模型的表現效果。相比于直接對原有模型進行融合，本方法通過引入中間模型對原有模型進行增強，可以有效地提升原模型的特征信息，進而提高融合后新模型的表現效果。

技術領域

本發明涉及BERT模型復用和BERT模型融合領域，尤其是涉及了一種基于模型特征信息增強的BERT模型融合方法。

背景技術

BERT模型融合是一項重要的模型融合任務，其目的在于對多個單任務上微調好的BERT模型進行融合和復用，生成一個可以在多任務表現良好的新BERT模型。

目前的模型融合方法多是集中于圖像識別領域和卷積網絡，而對于自然語言處理和BERT模型融合的方法相對較少，這些方法往往并不能充分地利用原有BERT模型的特征信息，所以融合后的BERT模型并不能達到較好的表現效果。

目前BERT模型復用方法多集中于單個BERT模型的知識蒸餾與復用，側重于對原有模型的壓縮，沒有考慮對多個BERT模型之間的特征融合，更沒有考慮對BERT新模型多任務處理能力的提升。

發明內容

本發明的目的在于針對現有BERT模型融合技術的不足，提供了一種基于模型特征信息增強的BERT模型融合方法，本發明可以利用中間模型對原模型特征信息進行增強，提高融合后模型的表現效果。

本發明的目的是通過以下技術方案來實現的：一種基于模型特征信息增強的BERT模型融合方法，該方法的具體步驟如下：

(1)首先，對于給定的N個原有模型，將其劃分為N個不同的分組，每個分組包含N-1個原有模型；

(2)然后，對于劃分后的N個分組，將每個分組中的N-1個原有模型進行融合，生成N個對應的中間模型，中間模型相比于原有模型擁有較好的表現效果，對原有模型的特征信息進行了增強；

(3)最后，將N個中間模型和N個原有模型，共同進行模型融合，生成一個最終的新模型。

進一步地，所述步驟(2)中將每個分組中的N-1個原有模型進行融合，生成N個對應的中間模型具體為：對于N個原有模型，進行N次注意力融合，每次融合使用其中的N-1個模型，最終生成N個中間模型；每個新模型中的知識包含N-1個原有模型中的知識，對原有的N-1個模型之間的關聯性進行增強，也增強了原有N-1個模型的特征信息強度。

進一步地，所述步驟(3)具體為：對步驟(2)生成的N個中間模型和原有的N個模型進行一次注意力融合，生成最終的模型。

本發明具有的有益效果是：本發明提出了一種基于模型特征信息增強的BERT模型融合方法，通過對原有BERT模型的特征信息進行增強，使得新模型可以獲取到更多原模型的特征信息，進而提升了融合后BERT模型的表現效果。相比于直接對原模型進行融合，本發明的方法可以增強新模型的特征信息，提高其表現效果。

附圖說明

圖1是本發明具體實施步驟流程圖；

圖2是本發明提出的一種BERT模型融合方法模塊圖。

具體實施方式

為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述。顯然，所述實施例是本發明一部分實施例，而不是全部的實施例。基于本發明的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的其他實施例，都屬于本發明的保護范圍。