[發明專利]一種基于適配器的遷移學習方法、裝置、設備及存儲介質

在審

• 申請號: 202111396195.2
• 申請日: 2021-11-23
• 公開（公告）號: CN114091452A
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 王偉;黃勇其;于翠翠;張黔
• 申請（專利權）人: 潤聯軟件系統（深圳）有限公司
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06N3/04;G06N3/08
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 劉暢

本申請公開了一種基于適配器的遷移學習方法、裝置、設備及存儲介質，屬于人工智能技術領域。本申請基于全連接網絡和transformer模型的編碼器構建初始遷移學習模型，其中，初始遷移學習模型包括若干個適配器，然后通過預處理后的訓練樣本對初始遷移學習模型進行預訓練，并基于預訓練結果計算每一個適配器的沙普利值，對每一個適配器的沙普利值進行降序排列，得到適配器貢獻隊列，通過適配器貢獻隊列對初始遷移學習模型進行調整和迭代，得到自注意力遷移學習模型。本申請采用適配器來進行不同學習任務中的知識遷移，降低了訓練開銷。此外，本申請在訓練過程中根據每個適配器的沙普利值，對適配器的數量進行縮減，在遷移學習過程中進一步減少了訓練開銷。

技術領域

本申請屬于人工智能技術領域，具體涉及一種基于適配器的遷移學習方法、裝置、設備及存儲介質。

背景技術

遷移學習是近年來人工智能研究領域的熱門，這一領域主要著眼于如何將某個原本用于特定任務而訓練的模型用于另外的任務。而預訓練(pre-trained)語言模型的特點就很適合用于遷移學習領域。近年來在文本分類、智能問答、機器閱讀、文本摘要等眾多NLP領域都取得了很好的效果。例如transformer及以transformer為基礎的GPT、BERT等預訓練語言模型。預訓練語言模型基于海量文本數據訓練，從統計學上講，海量文本數據內部本身隱含了極為豐富的特征，因此結合擬合能力強大的神經網絡模型，就能夠學習到語言內部蘊含的知識，從而用于不同任務。

但現有預訓練語言模型大多是基于自注意力的transformer-encoder模型，通過大量語料訓練提取到文本中的某種知識。但現有遷移學習方法存在以下缺點：當新任務需要添加某種新知識時，又需要重新預訓練整個模型，這會導致：1、原來已經獲得的知識被模型“遺忘”，使得模型效果大打折扣；2、每次都重新訓練模型的代價太高，需要消耗大量計算資源和時間成本。

發明內容

本申請實施例的目的在于提出一種基于適配器的遷移學習方法、裝置、計算機設備及存儲介質，以解決現有遷移學習方法存在訓練代價高，且容易導致已經獲得的知識被遺忘的技術問題。

為了解決上述技術問題，本申請實施例提供一種基于適配器的遷移學習方法，采用了如下所述的技術方案：

一種基于適配器的遷移學習方法，包括：

基于預設的全連接網絡和transformer模型的編碼器構建初始遷移學習模型，其中，所述初始遷移學習模型包括若干個適配器；

獲取訓練樣本，并對訓練樣本進行預處理，得到訓練樣本對應的詞向量；

通過所述詞向量對所述初始遷移學習模型進行預訓練，獲取預訓練結果；

基于所述預訓練結果計算每一個所述適配器的沙普利值，并對每一個所述適配器的沙普利值進行降序排列，得到適配器貢獻隊列；

通過所述適配器貢獻隊列對所述初始遷移學習模型的適配器進行調整，并對調整后的所述初始遷移學習模型進行迭代，得到自注意力遷移學習模型；

獲取待遷移語料，并將所述待遷移語料導入所述自注意力遷移學習模型，生成知識遷移結果。

進一步地，所述獲取訓練樣本，并對訓練樣本進行預處理，得到訓練樣本對應的詞向量的步驟，具體包括：

獲取訓練語料，按照段落或者語句對所述訓練語料進行劃分，得到訓練樣本集合，其中，所述訓練樣本集合包含若干個訓練樣本；

對所述訓練樣本進行分詞處理，得到樣本分詞；

對所述樣本分詞進行向量轉化，得到所述樣本分詞對應的詞向量。

進一步地，所述對所述樣本分詞進行向量轉化，得到所述樣本分詞對應的詞向量的步驟，具體包括：