[發明專利]一種基于判別聯合概率的域適配方法及系統

在審

• 申請號: 202010515089.0
• 申請日: 2020-06-08
• 公開（公告）號: CN111626376A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 楊楊;陶卓;石曉丹;劉祖龍;張藝馨;趙倩;王健鑫;葛忠迪;嚴雨;張振威
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 陳新生

本發明實施例提供的基于判別聯合概率的域適配方法及系統，包括獲取歷史流量數據集；根據歷史流量數據集，構建帶標簽的源域數據集和帶標簽的目標域數據集；根據帶標簽的源域數據集和帶標簽的目標域數據集，計算源域和目標域之間的聯合概率差異；根據聯合概率差異獲取最小化聯合概率差異；基于最小化聯合概率差異，將帶標簽的源域數據集向帶標簽的目標域數據集進行域適配。本發明實施例提供的域適配方法及系統，通過直接計算最小化聯合概率差異，度量邊際分布和條件分布的差異，構造了對實質分布差異有效且魯棒的特征表示，提高了域的可轉移性和類的可識別性。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種基于判別聯合概率的域適配方法及系統。

背景技術

近年來，隨著跨領域知識之間適應問題的出現，開發遷移學習算法引起了越來越多的研究興趣。在現實應用中，能夠獲取的源域與目標域往往存在較大的差異。因此，如何有效的利用有標注的源域數據集并遷移到相關的無標注的目標域，受到極大的關注和發展。遷移學習在圖像分類和標記、目標識別和特征學習等方面都有很好的應用前景。遷移學習不要求源域數據與目標域數據服從同一分布，能通過共享子空間或者共享特征把從源域學習到的信息遷移轉換到目標域中，以解決目標域帶標簽樣本數據量少的分類問題。

數據集偏移是機器學習領域中一個不容忽視的問題。數據集是描述現實世界物體的片面化表述，在描述同一個物體集合的數據集上訓練相同結構的模型，泛化能力往往存在偏差。域適配被嘗試著用于解決數據集偏移問題，以基于源領域和目標領域間的相似性及差異性，提高模型在目標領域數據上的表現。域適配是遷移學習的一類方法，該方法不再要求訓練數據與測試數據分布相同，可以利用相關領域的大量數據輔助目標域任務進行分類學習，能有效的解決源域與目標數據分布不同的分類學習問題。因此，隨著遷移學習的發展，許多學者開始研究域適配問題。

其一，現有技術1提供了一種基于深度網絡和對抗技術的領域適配方法，其中涉及到深度學習，遷移學習，領域適配，卷積神經網絡以及對抗網絡等技術。該方法在微調Alexnet的基礎上，增加兩個對抗子網，用于對抗式的修正不同領域樣本間的差異，以在high-level層學習到可共享特征。最終訓練好的網絡可以有效的替代人工標記過程，從而獲得更多，更準確的有標記樣本。

現有技術1的方案是通過在微調Alexnet的基礎上，增加兩個對抗子網，用于對抗式的修正不同領域樣本間的差異，在high-level層學習到可共享特征。該算法在新的目標風險誤差上界基礎上做出了創新，算法流程主要包括初始化階段和網絡訓練階段。在初始化階段，根據新的誤差上界和構建新的神經元層，同時增加相應的損失和正則化項，并對網絡和數據集進行初始化工作；在訓練階段，通過概率閉值取代原有超參數，根據概率迭代的SGD算法運行若干個迭代周期，直至滿足條件，訓練結束。該方法雖然能夠對域進行適配，但是神經網絡的迭代次數過多，導致耗時較長。

其二，現有技術2提供了一種基于表示學習和遷移學習的領域適配方法，該方法基于源域的少量真實標簽實現，從而減少對有標簽數據的依賴。通過Center Loss與SoftmaxLoss聯合損失函數能夠使得源域的數據特征擴大類間距，縮小類內距，從而獲得源域的可分離的特征。通過定義源域特征和目標域特征之間的距離的損失函數即MMD Loss損失函數，能夠再通過神經網絡的訓練過程降低MMD Loss損失函數的值，從而拉近源域和目標域的距離，最終提高目標域的準確率。

現有技術2的方案，首先針對源域和目標域的數據，通過CNN模型的卷積池化提取特征；然后，借助于Ceter loss與SoftWare Loss聯合損失函數獲得可分離的源域特征；最后，通過MMD Loss拉近源域特征，即與目標域特征分布的距離。該方法雖然能夠提高目標域的準確率，但是不能夠很好地提高不同域之間的差異。