[發明專利]一種基于多正則化層的多源領域適應方法

在審

• 申請號: 202210246725.3
• 申請日: 2022-03-14
• 公開（公告）號: CN114757258A
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 金穎;王佳琦;林達華
• 申請（專利權）人: 上海人工智能創新中心
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06F17/15
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 耿慧敏;成丹

本發明公開了一種基于多正則化層的多源領域適應方法。該方法包括：針對在多個不同源域數據集上訓練過的模型，以多個模型針對目標域的預測性能作為參考，選擇一個模型組合為新的分類模型，該分類模型保留所選擇模型的獨立卷積層以及所述多個模型的正則化層；以設定的損失函數為優化目標，訓練所述分類模型；將經訓練的分類模型的多個正則化層轉化為一個正則化層，預測目標域數據的分類信息。本發明在準確率，模型效率和泛化能力三者之間實現了更好的平衡。

技術領域

本發明涉及計算機視覺技術領域，更具體地，涉及一種基于多正則化層的多源領域適應方法。

背景技術

領域適應學習是指將模型從有標簽的源域數據集遷移到無標簽的目標域數據集上，旨在提升模型在目標域數據上的性能。多源領域適應是指將多個在不同領域數據(源域)上分別訓練過的模型遷移到一個新的領域(目標域)上，其中目標域分布和源域分布可能存在很大差異。

現有的領域適應學習主要包括模型集成、加權集成和知識蒸餾三種類型。模型集成是對多個模型的輸出求平均值作為模型的最終預測結果。具體到多源領域適應問題中的做法是，將多個模型分別利用現有的領域適應算法，遷移到目標域上，至此得到多個遷移過后的模型，并將它們的輸出求平均值。加權集成是在模型集成的基礎上，將多個模型的輸出進行加權，即引入一個可學習的權重參數，將多個模型遷移到目標域上。知識蒸餾方法包括一個教師模型和一個學生模型，旨在使學生模型繼承和學習教師模型的知識。具體到多源領域適應中，知識蒸餾將多個模型的預測結果的平均值作為教師模型的輸出，讓一個新的學生模型在目標域上的輸出與教師模型盡量相同，將學生模型作為最終的模型，從而降低模型的參數量和計算量。

經分析，現有的多源領域適應學習主要存在以下缺陷：

1)模型集成和模型加權都包含了多個模型，這使模型的參數量和計算量顯著上升。

2)知識蒸餾可以解決模型參數量和計算量，即模型效率的問題，但實驗表明，這種方式顯著降低了模型的泛化能力。

發明內容

本發明的目的是克服上述現有技術的缺陷，提供一種基于多正則化層的多源領域適應方法，該方法包括以下步驟：

針對源域上分別在多個數據集上訓練過的多個模型，以所述多個模型針對目標域的預測性能作為參考，選擇一個模型組合為新的分類模型，該分類模型保留所選擇模型的獨立卷積層以及所述多個模型的正則化層；

以設定的損失函數為優化目標，訓練所述分類模型；

將經訓練的分類模型的多個正則化層轉化為一個正則化層，預測目標域數據的分類信息。

與現有技術相比，本發明的優點在于，將分別在多個源域數據集上訓練的多個模型遷移到新的無標簽目標域上，在追求目標域準確率的同時，提升模型的效率和泛化能力。本發明在保證模型準確率的前提下，相比模型集成和模型加權，顯著降低了模型參數量和計算量；在保證模型效率的前提下，相比知識蒸餾等方法，具有更好的泛化能力。

通過以下參照附圖對本發明的示例性實施例的詳細描述，本發明的其它特征及其優點將會變得清楚。

附圖說明

被結合在說明書中并構成說明書的一部分的附圖示出了本發明的實施例，并且連同其說明一起用于解釋本發明的原理。

圖1是根據本發明一個實施例的基于多正則化層的多源領域適應方法的流程圖；

圖2是根據本發明一個實施例的基于多正則化層的多源領域適應方法的模型結構示意圖。

具體實施方式

現在將參照附圖來詳細描述本發明的各種示例性實施例。應注意到：除非另外具體說明，否則在這些實施例中闡述的部件和步驟的相對布置、數字表達式和數值不限制本發明的范圍。