[發(fā)明專利]深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法和裝置

在審

• 申請?zhí)枺?/td>: 201810554459.4
• 申請日: 2018-05-31
• 公開（公告）號: CN109902798A
• 公開（公告）日: 2019-06-18
• 發(fā)明（設(shè)計(jì)）人: 張煒晨;歐陽萬里;徐東;李文;吳小飛;劉健莊;錢莉
• 申請（專利權(quán)）人: 華為技術(shù)有限公司;悉尼大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提出了一種協(xié)同對抗網(wǎng)絡(luò)，在協(xié)同對抗網(wǎng)絡(luò)的低層設(shè)置損失函數(shù)，用于學(xué)習(xí)域區(qū)分性特征，并且與協(xié)同對抗網(wǎng)絡(luò)的最后一層(即高層)設(shè)置的域不變性損失函數(shù)形成協(xié)同對抗目標(biāo)函數(shù)，實(shí)現(xiàn)同時(shí)學(xué)習(xí)域區(qū)分性特征與域不變性特征。進(jìn)一步地，提出了一種增強(qiáng)協(xié)同對抗網(wǎng)絡(luò)，在協(xié)同對抗網(wǎng)絡(luò)的基礎(chǔ)上，將目標(biāo)領(lǐng)域的數(shù)據(jù)加入?yún)f(xié)同對抗網(wǎng)絡(luò)的訓(xùn)練中，以及根據(jù)任務(wù)模型的精度，設(shè)置自適應(yīng)閾值對目標(biāo)領(lǐng)域的訓(xùn)練樣本進(jìn)行選擇，并根據(jù)域區(qū)分網(wǎng)絡(luò)的置信度，對目標(biāo)領(lǐng)域的訓(xùn)練樣本設(shè)置權(quán)重。通過該協(xié)同對抗網(wǎng)絡(luò)訓(xùn)練的任務(wù)模型能夠提高應(yīng)用在目標(biāo)領(lǐng)域中的預(yù)測精度。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)領(lǐng)域，特別涉及遷移學(xué)習(xí)領(lǐng)域中基于對抗網(wǎng)絡(luò)的訓(xùn)練方法和裝置。

背景技術(shù)

人工智能(Artificial Intelligence,AI)是利用數(shù)字計(jì)算機(jī)或者數(shù)字計(jì)算機(jī)控制的機(jī)器模擬、延伸和擴(kuò)展人的智能，感知環(huán)境、獲取知識并使用知識獲得最佳結(jié)果的理論、方法、技術(shù)及應(yīng)用系統(tǒng)。換句話說，人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支，它企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式作出反應(yīng)的智能機(jī)器。人工智能也就是研究各種智能機(jī)器的設(shè)計(jì)原理與實(shí)現(xiàn)方法，使機(jī)器具有感知、推理與決策的功能。人工智能領(lǐng)域的研究包括機(jī)器人，自然語言處理，計(jì)算機(jī)視覺，決策與推理，人機(jī)交互，推薦與搜索，AI基礎(chǔ)理論等。

深度學(xué)習(xí)是近年來人工智能領(lǐng)域發(fā)展的一個(gè)關(guān)鍵推動(dòng)力，尤其是在計(jì)算機(jī)視覺的多種任務(wù)方面，如目標(biāo)分類/檢測/識別/分割中，取得了令人矚目的效果；但是，深度學(xué)習(xí)的成功需要依賴于大量的已標(biāo)注的數(shù)據(jù)。然而，標(biāo)注大量的數(shù)據(jù)，是一項(xiàng)極其耗時(shí)耗力的工作。目前針對相同或相似的任務(wù)，可以將依據(jù)源領(lǐng)域中公開的數(shù)據(jù)集或已標(biāo)注的數(shù)據(jù)訓(xùn)練好的任務(wù)模型直接應(yīng)用到目標(biāo)領(lǐng)域的任務(wù)預(yù)測，目標(biāo)領(lǐng)域是相對于源領(lǐng)域而言的，目標(biāo)領(lǐng)域一般沒有已標(biāo)注的數(shù)據(jù)或者沒有足夠的已標(biāo)注的數(shù)據(jù)，源領(lǐng)域中公開的數(shù)據(jù)集和已標(biāo)注的數(shù)據(jù)可以稱作源領(lǐng)域數(shù)據(jù)，相應(yīng)的，目標(biāo)領(lǐng)域中未標(biāo)注的數(shù)據(jù)可以稱作目標(biāo)領(lǐng)域數(shù)據(jù)。由于目標(biāo)領(lǐng)域數(shù)據(jù)與源領(lǐng)域數(shù)數(shù)據(jù)的分布不相同，直接使用依據(jù)源領(lǐng)域數(shù)據(jù)訓(xùn)練好的模型的效果不佳。

非監(jiān)督域適應(yīng)(unsupervised domain adaption)是一種典型的遷移學(xué)習(xí)方法，可用于解決上述問題。與直接將依據(jù)源領(lǐng)域數(shù)據(jù)訓(xùn)練好的模型用于目標(biāo)領(lǐng)域的任務(wù)預(yù)測不同，非監(jiān)督域適應(yīng)方法不僅利用源領(lǐng)域數(shù)據(jù)進(jìn)行訓(xùn)練，同時(shí)將未標(biāo)注的目標(biāo)領(lǐng)域數(shù)據(jù)融合到訓(xùn)練當(dāng)中，使訓(xùn)練的模型在目標(biāo)領(lǐng)域數(shù)據(jù)上有較好的預(yù)測效果。目前，現(xiàn)有技術(shù)中性能比較好的非監(jiān)督域適應(yīng)方法是基于領(lǐng)域?qū)沟姆潜O(jiān)督域適應(yīng)方法，如圖1所示的一種基于領(lǐng)域?qū)沟姆潜O(jiān)督域適應(yīng)訓(xùn)練圖像分類器的方法，其特點(diǎn)是在學(xué)習(xí)圖像分類任務(wù)的同時(shí)使用領(lǐng)域區(qū)分器(英文全稱：Domain Discriminator)和梯度方向(Gradient Reversal)方法學(xué)習(xí)域不變性特征。主要步驟是：(1)使用卷積神經(jīng)網(wǎng)絡(luò)特征提取器(Convolutional NeuralNetwork Feature Extractor，CNN Feature Extractor)提取的特征除了輸入到圖像分類器中，還用于建立一個(gè)領(lǐng)域區(qū)分器，領(lǐng)域區(qū)分器可以對輸入的特征可以輸出領(lǐng)域類別；(2)使用梯度反向方法，在反向傳播過程中修改梯度方向，從而使得卷積神經(jīng)網(wǎng)絡(luò)特征提取器學(xué)習(xí)的特征具有域不變性；(3)將以上得到卷積神經(jīng)網(wǎng)絡(luò)特征提取器和得到的分類器，用于目標(biāo)領(lǐng)域的圖像分類預(yù)測。

發(fā)明內(nèi)容

為了解決基于領(lǐng)域?qū)沟姆潜O(jiān)督域適應(yīng)方法存在的丟失具有域區(qū)分性的低層特征的問題。本申請?zhí)峁┝艘环N基于協(xié)同對抗網(wǎng)絡(luò)的訓(xùn)練方法，能夠保留具有域區(qū)分性的低層特征，從而提高任務(wù)模型的精度。進(jìn)一步提供了一種增加協(xié)同領(lǐng)域?qū)沟姆椒ǎ瑢⒛繕?biāo)領(lǐng)域中的數(shù)據(jù)用于訓(xùn)練任務(wù)模型，提高訓(xùn)練出的任務(wù)模型在目標(biāo)領(lǐng)域的適配性。