[發(fā)明專利]面向跨界大數(shù)據(jù)分析的對(duì)抗遷移學(xué)習(xí)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711183974.8
• 申請(qǐng)日: 2017-11-23
• 公開（公告）號(hào): CN107958287A
• 公開（公告）日: 2018-04-24
• 發(fā)明（設(shè)計(jì)）人: 龍明盛;王建民;張育宸;黃向東
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司11002
• 代理人: 王瑩,吳歡燕

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)分析技術(shù)領(lǐng)域，更具體地，涉及一種面向跨界大數(shù)據(jù)分析的對(duì)抗遷移學(xué)習(xí)方法及系統(tǒng)。

背景技術(shù)

在眾多的機(jī)器學(xué)習(xí)任務(wù)處理中，深度神經(jīng)網(wǎng)絡(luò)方法為目前效果最好的方法。但深度神經(jīng)網(wǎng)絡(luò)只有在獲得了足夠豐富的有標(biāo)簽數(shù)據(jù)后，經(jīng)過監(jiān)督學(xué)習(xí)訓(xùn)練才能獲得很好的任務(wù)效果。為了在目標(biāo)領(lǐng)域的已標(biāo)注數(shù)據(jù)較少的情況下，仍能獲得效果較好的用于完成目標(biāo)任務(wù)的深度神經(jīng)網(wǎng)絡(luò)，通常采用跨領(lǐng)域?qū)W習(xí)，將源領(lǐng)域豐富的已標(biāo)注數(shù)據(jù)用于目標(biāo)領(lǐng)域的深度神經(jīng)網(wǎng)絡(luò)的獲取。基于源領(lǐng)域豐富的已標(biāo)注數(shù)據(jù)獲取的深度神經(jīng)網(wǎng)絡(luò)下，源領(lǐng)域的數(shù)據(jù)與目標(biāo)領(lǐng)域的數(shù)據(jù)存在分布偏移的問題，因而該深度神經(jīng)網(wǎng)絡(luò)應(yīng)用目標(biāo)領(lǐng)域完成目標(biāo)任務(wù)時(shí)效果不佳。

針對(duì)這一問題，通常采用遷移學(xué)習(xí)方法解決，即訓(xùn)練一個(gè)鑒別器用于調(diào)整深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，使得參數(shù)調(diào)整后的深度神經(jīng)網(wǎng)絡(luò)下，源領(lǐng)域的數(shù)據(jù)與目標(biāo)領(lǐng)域的數(shù)據(jù)間的分布偏移減小，從而深度神經(jīng)網(wǎng)絡(luò)應(yīng)用目標(biāo)領(lǐng)域完成目標(biāo)任務(wù)時(shí)有較佳的效果。其中，對(duì)抗遷移學(xué)習(xí)方法是目前效果最好的遷移學(xué)習(xí)方法之一，其通過根據(jù)深度神經(jīng)網(wǎng)絡(luò)中間層的單個(gè)數(shù)據(jù)層的數(shù)據(jù)向量，構(gòu)建鑒別器的損失函數(shù)，最小化該鑒別器的損失函數(shù)獲取該鑒別器的參數(shù)，并固定該鑒別器的損失函數(shù)的參數(shù)，最小化深度神經(jīng)網(wǎng)絡(luò)的損失函數(shù)與該鑒別器的損失函數(shù)之差，獲取深度神經(jīng)網(wǎng)絡(luò)的參數(shù)這一方式不斷調(diào)整深度神經(jīng)網(wǎng)絡(luò)的參數(shù)直至收斂。

通過對(duì)抗遷移學(xué)習(xí)方法，參數(shù)調(diào)整后的深度神經(jīng)網(wǎng)絡(luò)頂層的若干數(shù)據(jù)層下，源領(lǐng)域的數(shù)據(jù)與目標(biāo)領(lǐng)域的數(shù)據(jù)可能仍然存在數(shù)據(jù)分布偏移，進(jìn)而深度神經(jīng)網(wǎng)絡(luò)應(yīng)用目標(biāo)領(lǐng)域完成目標(biāo)任務(wù)時(shí)效果可能不佳。尤其，當(dāng)源領(lǐng)域與目標(biāo)領(lǐng)域的數(shù)據(jù)分布呈現(xiàn)多模式的復(fù)雜結(jié)構(gòu)時(shí)，根據(jù)深度神經(jīng)網(wǎng)絡(luò)中間層的單個(gè)數(shù)據(jù)層的數(shù)據(jù)向量，構(gòu)建鑒別器的損失函數(shù)用于調(diào)整深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，參數(shù)調(diào)整后的深度神經(jīng)網(wǎng)絡(luò)的可能難以捕捉繁雜的數(shù)據(jù)分布特征以將分布細(xì)粒度對(duì)齊，使得源領(lǐng)域與目標(biāo)領(lǐng)域的數(shù)據(jù)分布偏移仍較大，深度神經(jīng)網(wǎng)絡(luò)應(yīng)用目標(biāo)領(lǐng)域完成目標(biāo)任務(wù)時(shí)效果不佳。

發(fā)明內(nèi)容

本發(fā)明提供一種面向跨界大數(shù)據(jù)分析的對(duì)抗遷移學(xué)習(xí)方法及系統(tǒng)，以克服現(xiàn)有對(duì)抗遷移學(xué)習(xí)方法得到的深度神經(jīng)網(wǎng)絡(luò)頂層的若干數(shù)據(jù)層下，源領(lǐng)域的數(shù)據(jù)與目標(biāo)領(lǐng)域的數(shù)據(jù)可能仍然存在數(shù)據(jù)分布偏移，以及當(dāng)源領(lǐng)域與目標(biāo)領(lǐng)域的數(shù)據(jù)分布呈現(xiàn)多模式的復(fù)雜結(jié)構(gòu)時(shí)，得到深度神經(jīng)網(wǎng)絡(luò)可能難以捕捉繁雜的數(shù)據(jù)分布特征以將分布細(xì)粒度對(duì)齊，使得源領(lǐng)域與目標(biāo)領(lǐng)域的數(shù)據(jù)分布偏移仍較大，應(yīng)用目標(biāo)領(lǐng)域完成目標(biāo)任務(wù)時(shí)效果不佳的問題。

根據(jù)本發(fā)明的第一方面，提供一種面向跨界大數(shù)據(jù)分析的對(duì)抗遷移學(xué)習(xí)方法，該方法包括：步驟1，將源領(lǐng)域和目標(biāo)領(lǐng)域各自的未標(biāo)注數(shù)據(jù)集輸入至預(yù)設(shè)深度神經(jīng)網(wǎng)絡(luò)并正向傳播，獲取所述源領(lǐng)域和目標(biāo)領(lǐng)域各自的未標(biāo)注數(shù)據(jù)集對(duì)應(yīng)的張量集；所述張量集中張量為對(duì)應(yīng)未標(biāo)注數(shù)據(jù)作為輸入時(shí)，所述預(yù)設(shè)深度神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)數(shù)據(jù)層集合中所有數(shù)據(jù)層的數(shù)據(jù)向量的張量積；步驟2，將所述源領(lǐng)域和目標(biāo)領(lǐng)域各自的未標(biāo)注數(shù)據(jù)集對(duì)應(yīng)的張量集中每個(gè)張量對(duì)應(yīng)的隨機(jī)多線性融合表示，代入鑒別器的原始損失函數(shù)，得到鑒別器的當(dāng)前損失函數(shù)，并利用反向傳播調(diào)整所述鑒別器的參數(shù)，以最小化所述當(dāng)前損失函數(shù)，作為所述鑒別器的當(dāng)前最佳損失函數(shù)；步驟3，利用反向傳播，將所述預(yù)設(shè)深度神經(jīng)網(wǎng)絡(luò)在所述源領(lǐng)域的損失函數(shù)減去平衡參數(shù)與所述當(dāng)前最佳損失函數(shù)的乘積后最小化，得到所述預(yù)設(shè)深度神經(jīng)網(wǎng)絡(luò)的新參數(shù)，用所述新參數(shù)更新所述預(yù)設(shè)深度神經(jīng)網(wǎng)絡(luò)的參數(shù)并再次進(jìn)行所述正向傳播以再一次更新所述預(yù)設(shè)深度神經(jīng)網(wǎng)絡(luò)的參數(shù)，直至參數(shù)收斂；所述平衡參數(shù)為所述預(yù)設(shè)深度神經(jīng)網(wǎng)絡(luò)在所述源領(lǐng)域的損失函數(shù)與所述當(dāng)前最佳損失函數(shù)的平衡參數(shù)。

其中，所述步驟1具體包括：步驟11，將所述源領(lǐng)域和目標(biāo)領(lǐng)域各自的未標(biāo)注數(shù)據(jù)集中的每個(gè)未標(biāo)注數(shù)據(jù)依次輸入至預(yù)設(shè)深度神經(jīng)網(wǎng)絡(luò)并正向傳播，獲取所述每個(gè)未標(biāo)注數(shù)據(jù)下所述預(yù)設(shè)深度神經(jīng)網(wǎng)絡(luò)中預(yù)設(shè)數(shù)據(jù)層集合中每個(gè)數(shù)據(jù)層的數(shù)據(jù)向量；步驟12，計(jì)算所述數(shù)據(jù)向量的張量積，將所述張量積作為所述每個(gè)未標(biāo)注數(shù)據(jù)對(duì)應(yīng)的張量；步驟13，根據(jù)所述源領(lǐng)域的未標(biāo)注數(shù)據(jù)集中每個(gè)未標(biāo)注數(shù)據(jù)對(duì)應(yīng)的張量，得到所述源領(lǐng)域的未標(biāo)注數(shù)據(jù)集對(duì)應(yīng)的張量集，并根據(jù)所述目標(biāo)領(lǐng)域的未標(biāo)注數(shù)據(jù)集中每個(gè)未標(biāo)注數(shù)據(jù)對(duì)應(yīng)的張量，得到所述目標(biāo)領(lǐng)域的未標(biāo)注數(shù)據(jù)集對(duì)應(yīng)的張量集。

其中，在步驟1中，所述預(yù)設(shè)數(shù)據(jù)層集合由所述預(yù)設(shè)深度神經(jīng)網(wǎng)絡(luò)頂層和中間層中的若干數(shù)據(jù)層構(gòu)成。

其中，在步驟2中，所述鑒別器為一個(gè)輸入為d維向量、輸出在區(qū)間[0,1]上的全連接預(yù)設(shè)深度神經(jīng)網(wǎng)絡(luò)鑒別器；所述鑒別器的原始損失函數(shù)設(shè)定為：