[發明專利]一種基于圖卷積網絡的無監督遷移學習方法

有效

• 申請號: 201910899732.1
• 申請日: 2019-09-23
• 公開（公告）號: CN110717526B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 吳慶耀;吳漢瑞;葉宇中
• 申請（專利權）人: 華南理工大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/096;G06N3/09
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 何淑珍;江裕強

本發明公開了一種基于圖卷積網絡的無監督遷移學習方法。所述方法包括：從數據庫中得到用于遷移學習的源域和目標域樣本，對其進行特征提取以及構建相關性關系圖；將樣本特征和關系圖放入已構建的圖卷積網絡中將樣本特征映射到具有強判別性的特征空間并構成樣本新的特征；對學習到的特征空間及新樣本特征進行分布對齊，使得新樣本特征具有良好的遷移性能；同時，構建一個分類網絡并學習一個目標域數據的分類器；重復使用梯度下降法直到圖卷積網絡及分類網絡的損失函數收斂，并對未標注的目標域數據進行預測。本發明結合了模型判別能力和知識遷移能力兩個特征，能用于困難的無監督遷移學習場景，在實際場景的應用中有良好的分類學習和數據標注能力。

技術領域

本發明涉及無監督遷移學習領域,具體涉及一種基于圖卷積網絡的無監督遷移學習方法。

背景技術

近年來，人工智能技術迅猛發展，在多種實地應用場景下起到了很強的作用。人工智能技術的核心是其算法的學習以及預測。然而，隨著實際應用場景的多樣性和復雜性的增加。傳統人工智能算法的短板越來越突出。這主要是由于傳統人工智能算法是假設所學習的數據是服從同一分布的，只有服從這樣的假設才能夠表現出良好的結果。

然而，實際應用中由于不同時間不同地域等各種原因造成數據往往是不完全服從同一分布的，這就需要遷移學習技術把學習到的知識從源域應用到目標域。一類比較困難且很有價值的實際問題是源域和目標域數據分布存在差異，且目標域不存在標注數據，這就是無監督的遷移學習問題。目前有一些應用方法關注到這個問題，但多數解決該問題方法存在一個不足，即忽略了數據的幾何信息，而這些幾何信息對于學習樣本之間的相關性具有重要意義。如何利用數據的幾何信息，學習從一個領域到另外一個領域的知識遷移，并進行預測，具有極強的研究價值和實際意義。

發明內容

本發明的目的是提供一種基于圖卷積網絡的無監督遷移學習方法，克服現有技術存在的不足。

本發明的目的至少通過如下技術方案之一實現。

一種基于圖卷積網絡的無監督遷移學習方法，包括以下步驟：

S1：從數據庫中得到用于遷移學習的源域和目標域樣本，對數據樣本即源域樣本和目標域樣本進行特征提取，并基于近鄰算法模型構建各數據樣本之間的相關性關系圖；

S2：將步驟S1中得到的樣本特征和關系圖放入已構建的圖卷積網絡中，以提取關系圖中數據樣本的幾何信息，從而將樣本特征映射到具有強判別性的特征空間，并構成樣本新的特征；

S3：利用最大平均差異對步驟S2中學習到的特征空間及新樣本特征進行分布對齊，使得新樣本特征具有良好的遷移性能；同時，構建一個分類網絡，利用分類網絡的損失函數學習一個目標域數據的分類器；

S4：重復使用梯度下降法減小圖卷積網絡的損失及分類網絡的損失，直到圖卷積網絡及分類網絡的損失函數收斂，并使用收斂后圖卷積網絡和分類網絡的參數對未標注的目標域數據進行預測。

進一步地，步驟S1中，具體步驟如下：

S1.1：從數據庫中取出數據，包括源域樣本和目標域樣本；利用特征提取算法提取源域樣本和目標域樣本的特征；進行特征提取后，源域樣本特征表示為其中n_S為源域樣本的個數，下標S代表源域；源域的樣本類別表示為對于第i個源域樣本x_S,i,y_S,i∈{1,...,C}為類別空間，C為總類別數；目標域樣本特征表示為其中n_T為目標域樣本的個數，下標T代表目標域，x_T,i表示第i個目標域樣本；X＝[X_S,X_T]＝[x₁,...,x_n]^T為兩個域的數據樣本特征的集合，兩個域的樣本總數n＝n_S+n_T；目標域樣本無類別標記，兩個域的樣本提取后的特征維度均為d，且類別空間一致，即兩個域樣本所屬的類別可能相同；