[發(fā)明專利]一種基于圖卷積網(wǎng)絡(luò)的無(wú)監(jiān)督遷移學(xué)習(xí)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910899732.1
• 申請(qǐng)日: 2019-09-23
• 公開（公告）號(hào): CN110717526B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: 吳慶耀;吳漢瑞;葉宇中
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06N3/0464
• 分類號(hào): G06N3/0464;G06N3/096;G06N3/09
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍;江裕強(qiáng)

1.一種基于圖卷積網(wǎng)絡(luò)的無(wú)監(jiān)督遷移學(xué)習(xí)方法，其特征在于，包括以下步驟：

S1：從數(shù)據(jù)庫(kù)中得到用于遷移學(xué)習(xí)的源域和目標(biāo)域樣本，對(duì)數(shù)據(jù)樣本即源域樣本和目標(biāo)域樣本進(jìn)行特征提取，并基于近鄰算法模型構(gòu)建各數(shù)據(jù)樣本之間的相關(guān)性關(guān)系圖；具體步驟如下：

S1.1：從數(shù)據(jù)庫(kù)中取出數(shù)據(jù)，包括源域樣本和目標(biāo)域樣本；利用特征提取算法提取源域樣本和目標(biāo)域樣本的特征；進(jìn)行特征提取后，源域樣本特征表示為其中n_S為源域樣本的個(gè)數(shù)，下標(biāo)S代表源域；源域的樣本類別表示為對(duì)于第i個(gè)源域樣本x_S,i,y_S,i∈{1,...,C}為類別空間，C為總類別數(shù)；目標(biāo)域樣本特征表示為其中n_T為目標(biāo)域樣本的個(gè)數(shù)，下標(biāo)T代表目標(biāo)域，x_T,i表示第i個(gè)目標(biāo)域樣本；X＝[X_S,X_T]＝[x₁,...,x_n]^T為兩個(gè)域的數(shù)據(jù)樣本特征的集合，兩個(gè)域的樣本總數(shù)n＝n_S+n_T；目標(biāo)域樣本無(wú)類別標(biāo)記，兩個(gè)域的樣本提取后的特征維度均為d，且類別空間一致；

S1.2：利用近鄰算法模型對(duì)步驟S1.1提取到的特征進(jìn)行關(guān)系圖的構(gòu)建；令矩陣A為數(shù)據(jù)樣本之間的相關(guān)性鄰接矩陣，給定第i個(gè)數(shù)據(jù)樣本x_i和第j個(gè)數(shù)據(jù)樣本x_j，構(gòu)建算法為：

其中，A_ij為A的第i行第j列的元素，N_k(x_i)表示第i個(gè)數(shù)據(jù)樣本x_i的k個(gè)近鄰；之后對(duì)鄰接矩陣做正則化處理，即：其中，D_ii＝∑_jA_ij，D_ii為D的第i行第i列的元素；鄰接矩陣A正則化處理后所得的即為構(gòu)建得到的關(guān)系圖；

S2：將步驟S1中得到的樣本特征和關(guān)系圖放入已構(gòu)建的圖卷積網(wǎng)絡(luò)中，以提取關(guān)系圖中數(shù)據(jù)樣本的幾何信息，從而將樣本特征映射到具有強(qiáng)判別性的特征空間，并構(gòu)成樣本新的特征；

S3：利用最大平均差異對(duì)步驟S2中學(xué)習(xí)到的特征空間及新樣本特征進(jìn)行分布對(duì)齊，使得新樣本特征具有良好的遷移性能；同時(shí)，構(gòu)建一個(gè)分類網(wǎng)絡(luò)，利用分類網(wǎng)絡(luò)的損失學(xué)習(xí)一個(gè)目標(biāo)域數(shù)據(jù)的分類器；

S4：重復(fù)使用梯度下降法減小圖卷積網(wǎng)絡(luò)的損失及分類網(wǎng)絡(luò)的損失，直到圖卷積網(wǎng)絡(luò)及分類網(wǎng)絡(luò)的損失函數(shù)收斂，并使用收斂后圖卷積網(wǎng)絡(luò)和分類網(wǎng)絡(luò)的參數(shù)對(duì)未標(biāo)注的目標(biāo)域數(shù)據(jù)進(jìn)行預(yù)測(cè)。

2.根據(jù)權(quán)利要求1所述的一種基于圖卷積網(wǎng)絡(luò)的無(wú)監(jiān)督遷移學(xué)習(xí)方法，其特征在于：步驟S1.1中，所述特征提取算法為尺度不變特征變換算法或者預(yù)訓(xùn)練好的深度網(wǎng)絡(luò)模型。

3.根據(jù)權(quán)利要求1所述的一種基于圖卷積網(wǎng)絡(luò)的無(wú)監(jiān)督遷移學(xué)習(xí)方法，其特征在于：步驟S2中，所述圖卷積網(wǎng)絡(luò)的模型為三層網(wǎng)絡(luò)模型，具體表示為：

其中，W＝{W⁽⁰⁾,W⁽¹⁾,W⁽²⁾}是訓(xùn)練過(guò)程中要學(xué)習(xí)的圖卷積參數(shù)，W⁽⁰⁾、W⁽¹⁾、W⁽²⁾分別為全卷積網(wǎng)絡(luò)第一、第二、第三層的網(wǎng)絡(luò)參數(shù)，σ(·)為修正線性單元激活函數(shù)；X為S1.1中所述兩個(gè)域的數(shù)據(jù)樣本特征的集合，通過(guò)模型G(·)學(xué)到新的特征Z＝[Z_S,Z_T]＝[z₁,...,z_i,z_n]^T，Z_S,Z_T分別為源域和目標(biāo)域樣本新的特征，n為兩個(gè)域的樣本特征總數(shù)，z_i表示第i個(gè)數(shù)據(jù)樣本的新特征。