[發明專利]一種基于模型特征信息增強的BERT模型融合方法在審

申請號：	202210176359.9	申請日：	2022-02-25
公開（公告）號：	CN114580659A	公開（公告）日：	2022-06-03
發明（設計）人：	陳珂;駱歆遠;壽黎但;楊浩磊;陳剛	申請（專利權）人：	浙江大學
主分類號：	G06N20/20	分類號：	G06N20/20;G06K9/62
代理公司：	杭州求是專利事務所有限公司 33200	代理人：	邱啟旺
地址：	310058 浙江***	國省代碼：	浙江;33
權利要求書：	查看更多	說明書：	查看更多
摘要：
搜索關鍵詞：	一種基于模型特征信息增強 bert 融合方法
鉆瓜網技術展會專利詞庫專利權人專利榜在售專利公布日期熱門專利

【權利要求書】：

1.一種基于模型特征信息增強的BERT模型融合方法，其特征在于，該方法的具體步驟如下：

(1)首先，對于給定的N個原有模型，將其劃分為N個不同的分組，每個分組包含N-1個原有模型；

(2)然后，對于劃分后的N個分組，將每個分組中的N-1個原有模型進行融合，生成N個對應的中間模型，中間模型相比于原有模型擁有較好的表現效果，對原有模型的特征信息進行了增強；

(3)最后，將N個中間模型和N個原有模型，共同進行模型融合，生成一個最終的新模型。

2.根據權利要求1所述的方法，其特征在于，所述步驟(2)中，所述將每個分組中的N-1個原有模型進行融合，生成N個對應的中間模型具體為：對于N個原有模型，進行N次注意力融合，每次融合使用其中的N-1個模型，最終生成N個中間模型；每個新模型中的知識包含N-1個原有模型中的知識，對原有的N-1個模型之間的關聯性進行增強，也增強了原有N-1個模型的特征信息強度。

3.根據權利要求1所述的方法，其特征在于，所述步驟(3)具體為：對步驟(2)生成的N個中間模型和原有的N個模型進行一次注意力融合，生成最終的模型。

下載完整專利技術內容需要扣除積分，VIP會員可以免費下載。

免登錄下載普通用戶下載升級VIP會員，免費下載

該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于浙江大學，未經浙江大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】

本文鏈接：http://www.szxzyx.cn/pat/books/202210176359.9/1.html，轉載請聲明來源鉆瓜專利網。