[發明專利]一種基于分布對抗的無監督深度領域適應方法

在審

• 申請號: 202110401067.6
• 申請日: 2021-04-14
• 公開（公告）號: CN113011523A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 潘杰;黃霄漢;陳寧寧;鄒筱瑜
• 申請（專利權）人: 中國礦業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 馬玉雯

本發明公開了一種基于分布對抗的無監督深度領域適應方法，包括以下步驟：獲取待分析數據；建立深度網絡模型；數據的前向傳播；構造損失函數包括標簽分類器的損失，領域判別器的損失，多核最大均值差異以及全局損失函數；使用mini?batch隨機梯度下降法進行參數更新。本方法融合了特征分布與領域對抗，使其共同作用于網絡模型，提高模型的領域適應能力。所提方法基于卷積神經網絡實現，在分類器的全連接層進行特征分布匹配，使用MK?MMD衡量領域間的特征分布差異，同時在卷積層后搭建兩層全連接網絡作為領域判別器進行領域對抗。綜合大量實驗證明了所提方法能夠提高深度網絡模型的領域適應能力。

技術領域

本發明屬于深度學習領域，特別涉及一種基于分布對抗的無監督深度領域適應方法。

背景技術

領域適應可以分為兩類：淺層領域適應和深度領域適應。淺層領域適應包含：實例權重重調，特征擴充，特征空間對齊和特征變換。實例權重重調方法的主要思想是根據 實例似然比進行權重調整，如領域分類器的獨立后驗概率，或通過KL散度衡量密度函 數差異。而特征擴充法則根據測地流采樣和測地流核等理論把原始特征嵌入d維線性子 空間，并將數據視為格拉茲曼流形上的點，通過探索不同域局部幾何結構拉近領域間距 離。特征空間對齊強調將源特征與目標特征對齊，如子空間對齊通過最小化子空間之間 的布雷格曼散度來尋求對齊。線性相關對齊通過對齊不同領域的二階統計量來減少源和 目標分布的領域漂移。特征變換法，典型方法有遷移成分分析，把源域與目標域投影到 潛在空間中來縮小領域間的分布差異。

與淺層領域適應不同，深度領域適應是在深度網絡模型下建立的領域適應方法。最 近研究表明深度神經網絡能夠學習到更多的遷移表示，其利用領域不變因素對數據分層 提取特征，效果優于人工特征方法，在分類任務中表現更為出色。然而文獻表明，深度特征從輸入到輸出層逐漸從一般轉向特殊，特征可遷移性在較高層時急劇下降，提取深 度神經網絡的任務特定層特征，反而會增大領域差異。如何令源領域訓練的深度模型在 目標域中也能夠很好工作，引起了研究人員的更多探討。這一類工作中，最大均值差異(Maximum Mean Discrepancy，MMD)被廣泛用于匹配不同域的分布，如深度適應網 絡，聯合適應網絡，殘差遷移網絡等均把MMD嵌入深度神經網絡的特定層，通過減小 MMD損失來更新網絡適應層，從而學習到更多的可遷移特征。

近來，生成對抗網絡(Generative Adversarial Nets，GANs)在深度學習領域中大放 異彩，對抗博弈的思想也被廣泛應用于領域適應中。一些方法提出利用GANs將源域圖像轉換為目標域圖像，并利用生成的目標域圖像訓練分類器。然而，當源域和目標域分 布完全不同時，會產生梯度消失現象，導致對抗訓練的效果變差。另一些方法對GANs 改進后再用源域與目標域數據進行訓練，使對抗方法的領域適應能力得到提高。其策略 是把生成器改為特征提取器，判別器改為領域分類器，如在領域混淆的基礎上添加軟標 簽損失來描述數據類別相似度，這樣做既拉近了領域間特征分布，又拉近了相似類別數 據的分布。此外，梯度反轉層嵌入深度網絡中，利用對抗學習中博弈思想讓特征提取器 “迷惑”領域判別器達到領域適應的目的。

發明內容

針對在深度領域適應現存方法中出現的負遷移及欠適配等問題，提出一種基于分布 對抗的無監督深度領域適應方法，主要解決無監督領域適應問題。

本發明的目的是通過以下技術方案，包括以下步驟：

(1)獲取待分析數據：選取圖片數據，圖片數據x輸入網絡產生分類標簽y∈Y和 領域標簽d∈D，Y為標簽集，D＝{0,1}，圖片數據分為源域數據和目標域數據，源域 數據定義為目標域數據定義為

(2)建立深度網絡模型：所述模型基于深度卷積神經網絡建立，包括卷積層構成的特征提取器G_f、全連接層構成的標簽分類器G_y和領域判別器G_d；