[發明專利]面向跨界大數據分析的對抗遷移學習方法及系統

在審

• 申請號: 201711183974.8
• 申請日: 2017-11-23
• 公開（公告）號: CN107958287A
• 公開（公告）日: 2018-04-24
• 發明（設計）人: 龍明盛;王建民;張育宸;黃向東
• 申請（專利權）人: 清華大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 王瑩,吳歡燕

1.一種面向跨界大數據分析的對抗遷移學習方法，其特征在于，包括：

步驟1，將源領域和目標領域各自的未標注數據集輸入至預設深度神經網絡并正向傳播，獲取所述源領域和目標領域各自的未標注數據集對應的張量集；所述張量集中張量為對應未標注數據作為輸入時，所述預設深度神經網絡中預設數據層集合中所有數據層的數據向量的張量積；

步驟2，將所述源領域和目標領域各自的未標注數據集對應的張量集中每個張量對應的隨機多線性融合表示，代入鑒別器的原始損失函數，得到鑒別器的當前損失函數，并利用反向傳播調整所述鑒別器的參數，以最小化所述當前損失函數，作為所述鑒別器的當前最佳損失函數；

步驟3，利用反向傳播，將所述預設深度神經網絡在所述源領域的損失函數減去平衡參數與所述當前最佳損失函數的乘積后最小化，得到所述預設深度神經網絡的新參數，用所述新參數更新所述預設深度神經網絡的參數并再次進行所述正向傳播以再一次更新所述預設深度神經網絡的參數，直至參數收斂；所述平衡參數為所述預設深度神經網絡在所述源領域的損失函數與所述當前最佳損失函數的平衡參數。

2.根據權利要求1所述的方法，其特征在于，所述步驟1具體包括：

步驟11，將所述源領域和目標領域各自的未標注數據集中的每個未標注數據依次輸入至預設深度神經網絡并正向傳播，獲取所述每個未標注數據下所述預設深度神經網絡中預設數據層集合中每個數據層的數據向量；

步驟12，計算所述數據向量的張量積，將所述張量積作為所述每個未標注數據對應的張量；

步驟13，根據所述源領域的未標注數據集中每個未標注數據對應的張量，得到所述源領域的未標注數據集對應的張量集，并根據所述目標領域的未標注數據集中每個未標注數據對應的張量，得到所述目標領域的未標注數據集對應的張量集。

3.根據權利要求1所述的方法，其特征在于，在步驟1中，所述預設數據層集合由所述預設深度神經網絡頂層和中間層中的若干數據層構成。

4.根據權利要求1所述的方法，其特征在于，在步驟2中，所述鑒別器為一個輸入為d維向量、輸出在區間[0,1]上的全連接預設深度神經網絡鑒別器；

所述鑒別器的原始損失函數設定為：

其中，和分別為所述源領域和所述目標領域的未標注數據集對應的張量集，和分別為所述源領域和所述目標領域的第i個未標注數據的張量，n_s和n_t分別為所述源領域和所述目標領域的未標注數據集中未標注數據的數目，和分別為所述源領域和所述目標領域的第i個未標注數據的張量的隨機多線性融合表示；為所述預設數據層集合，z為張量，⊙是阿達馬積，R^l是一個維度為d×d_l的隨機矩陣，d_l是數據層l的維度，d為鑒別器輸入向量的維度，z^l為數據層l的數據向量。

5.根據權利要求1所述的方法，其特征在于，在步驟3中，所述預設深度神經網絡在所述源領域的損失函數為在所述源領域的已標注數據集中所有已標注數據的交叉熵損失的均值。

6.根據權利要求5所述的方法，其特征在于，所述預設深度神經網絡在所述源領域的損失函數設定為：

1nsΣi=1nsJ(F(xis),yis),]]>

其中，n_s為所述源領域的已標注數據集中已標注數據的數目，為所述源領域的第i個已標注數據的特征向量，為所述預設深度神經網絡的決策函數，為所述源領域的第i個已標注數據的標簽，J(·,·)是交叉熵損失函數。