[發(fā)明專利]神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、數(shù)據(jù)獲取方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010594053.6
• 申請(qǐng)日: 2020-06-24
• 公開(kāi)（公告）號(hào): CN111898635A
• 公開(kāi)（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 韓亞洪;姜品;武阿明;邵云峰;齊美玉;李秉帥
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本申請(qǐng)公開(kāi)了人工智能領(lǐng)域中的一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、數(shù)據(jù)獲取方法和裝置。該神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法包括：獲取訓(xùn)練數(shù)據(jù)；使用訓(xùn)練數(shù)據(jù)對(duì)所述神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使得神經(jīng)網(wǎng)絡(luò)從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)分解域不變特征和域特定特征。通過(guò)從訓(xùn)練數(shù)據(jù)中分解域不變特征和域特定特征，使得域不變特征能夠與域特定特征解耦；其中，所述域特定特征為表征所述訓(xùn)練數(shù)據(jù)所屬的領(lǐng)域的特征，所述域不變特征為與所述訓(xùn)練數(shù)據(jù)所屬領(lǐng)域無(wú)關(guān)的特征。由于本申請(qǐng)的方法訓(xùn)練的神經(jīng)網(wǎng)絡(luò)使用特征解耦得到的域不變特征來(lái)執(zhí)行任務(wù)，避免了域特定特征對(duì)于神經(jīng)網(wǎng)絡(luò)的影響，從而提升了神經(jīng)網(wǎng)絡(luò)在不同領(lǐng)域之間的遷移性能。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能領(lǐng)域，具體涉及一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、數(shù)據(jù)獲取方法和裝置。

背景技術(shù)

人工智能(artificial intelligence，AI)是利用數(shù)字計(jì)算機(jī)或者數(shù)字計(jì)算機(jī)控制的機(jī)器模擬、延伸和擴(kuò)展人的智能，感知環(huán)境、獲取知識(shí)并使用知識(shí)獲得最佳結(jié)果的理論、方法、技術(shù)及應(yīng)用系統(tǒng)。換句話說(shuō)，人工智能是計(jì)算機(jī)科學(xué)的一個(gè)分支，它企圖了解智能的實(shí)質(zhì)，并生產(chǎn)出一種新的能以人類智能相似的方式作出反應(yīng)的智能機(jī)器。人工智能也就是研究各種智能機(jī)器的設(shè)計(jì)原理與實(shí)現(xiàn)方法，使機(jī)器具有感知、推理與決策的功能。人工智能領(lǐng)域的研究包括機(jī)器人，自然語(yǔ)言處理，計(jì)算機(jī)視覺(jué)，決策與推理，人機(jī)交互，推薦與搜索，AI基礎(chǔ)理論等。

例如，在計(jì)算機(jī)視覺(jué)相關(guān)的應(yīng)用場(chǎng)景中，以機(jī)器學(xué)習(xí)方式訓(xùn)練的神經(jīng)網(wǎng)絡(luò)可用于完成目標(biāo)分類/檢測(cè)/識(shí)別/分割/預(yù)測(cè)等多種任務(wù)。在很多應(yīng)用場(chǎng)景下，訓(xùn)練樣本和測(cè)試樣本很可能來(lái)自不同的域，這會(huì)為神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用帶來(lái)問(wèn)題。例如，在車輛檢測(cè)的應(yīng)用場(chǎng)景下，源域數(shù)據(jù)可能是晴天拍攝的交通場(chǎng)景圖像，而目標(biāo)域數(shù)據(jù)卻是霧天拍攝的交通場(chǎng)景圖像。此時(shí)使用源域數(shù)據(jù)訓(xùn)練得到的目標(biāo)檢測(cè)模型就很難在目標(biāo)域數(shù)據(jù)場(chǎng)景下取得好的效果。為了解決這種由于訓(xùn)練樣本和測(cè)試樣本之間的域偏差所帶來(lái)的模型應(yīng)用問(wèn)題，域自適應(yīng)(domain adaptation，DA)學(xué)習(xí)作為機(jī)器學(xué)習(xí)的重要研究領(lǐng)域在近幾年受到了廣泛的關(guān)注。

域自適應(yīng)學(xué)習(xí)通常使用分布對(duì)齊的方法來(lái)對(duì)齊源域和目標(biāo)域的數(shù)據(jù)之間的概率分布，以緩解域偏差對(duì)域自適應(yīng)學(xué)習(xí)任務(wù)帶來(lái)的不利影響。由于這種分布對(duì)齊的過(guò)程只是在整體特征表示層面進(jìn)行的，使得域自適應(yīng)學(xué)習(xí)任務(wù)不可避免受到不同領(lǐng)域的特定特征的影響，因此，訓(xùn)練出的神經(jīng)網(wǎng)絡(luò)仍然存在遷移性能差的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法、數(shù)據(jù)獲取方法和裝置，能夠更好地提升神經(jīng)網(wǎng)絡(luò)在不同領(lǐng)域之間的遷移性能。

第一方面，提供了一種神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法，包括：獲取訓(xùn)練數(shù)據(jù)；使用所述訓(xùn)練數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使得所述神經(jīng)網(wǎng)絡(luò)從所述訓(xùn)練數(shù)據(jù)中學(xué)習(xí)分解域不變特征和域特定特征；其中，所述域特定特征為表征所述訓(xùn)練數(shù)據(jù)所屬的領(lǐng)域的特征，所述域不變特征為與所述訓(xùn)練數(shù)據(jù)所屬領(lǐng)域無(wú)關(guān)的特征。

通過(guò)從訓(xùn)練數(shù)據(jù)中分解域不變特征和域特定特征，使得域不變特征能夠與域特定特征解耦。由于本申請(qǐng)的訓(xùn)練方法得到的神經(jīng)網(wǎng)絡(luò)使用域不變特征來(lái)執(zhí)行任務(wù)，這樣避免了域特定特征對(duì)于神經(jīng)網(wǎng)絡(luò)的影響，從而提升了神經(jīng)網(wǎng)絡(luò)在不同領(lǐng)域之間的遷移性能。

結(jié)合本申請(qǐng)的第一方面，在一種可能的實(shí)現(xiàn)方式中，所述使用所述訓(xùn)練數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練包括：從所述訓(xùn)練數(shù)據(jù)中分解出域不變特征和域特定特征；使用所述域不變特征執(zhí)行任務(wù)，得到任務(wù)損失，并計(jì)算所述域不變特征和所述域特定特征之間的互信息損失，所述任務(wù)損失用于表征使用所述域不變特征執(zhí)行任務(wù)所得到的結(jié)果與任務(wù)標(biāo)簽之間的差距，所述互信息損失用于表示所述域不變特征和所述域特定特征之間的差異；根據(jù)所述任務(wù)損失和所述互信息損失，訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)。

通過(guò)根據(jù)任務(wù)損失和互信息損失來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，不僅可使得分解出的域不變特征更加精準(zhǔn)的與實(shí)例對(duì)應(yīng)，還可在訓(xùn)練的過(guò)程中減少域不變特征和域特定特征之間的互信息損失，以促進(jìn)域不變特征和域特定特征的完全解耦，進(jìn)一步降低域特定特征對(duì)域不變特征的影響。