[發明專利]一種面向特征解構的對抗合作網絡模塊及其對抗合作方法

在審

• 申請號: 202010804244.0
• 申請日: 2020-08-12
• 公開（公告）號: CN111950631A
• 公開（公告）日: 2020-11-17
• 發明（設計）人: 譚琦;楊沛
• 申請（專利權）人: 華南師范大學;華南理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李盛洪

本發明公開了一種面向特征解構的對抗合作網絡模塊，包括對抗合作模塊和知識共享模塊，所述對抗合作模塊包括特征生成器、領域鑒別器和排它式對抗器；所述特征生成器接收任務樣本并分別與領域鑒別器和排它式對抗器進行對抗，所述特征生成器生成領域共性特征和領域個性特征，所述知識共享模塊接收領域共性特征和領域個性特征并生成最終的分類預測；本發明還公開了一種面向特征解構的對抗合作方法；本發明通過既對抗又合作的網絡，能夠解構任務相關和任務無關的特征，從而可以在任務之間進行更細粒度的知識共享，還提升了深度學習模型的泛化性能，適用于深度多任務學習、遷移學習、多視圖學習和多模態學習等多種學習模式。

技術領域

本發明涉及多任務機器學習領域，特別是涉及一種面向特征解構的對抗合作網絡模塊及其對抗合作方法。

背景技術

深度學習的發展，推動了計算機視覺、語音識別、自然語音處理等領域的技術進步。在圖像識別、游戲博弈等領域，深度神經網絡的學習性能甚至超過了人類。但是，深度神經網絡需要大量的標注樣本進行訓練，而且目前的研究表明，即使是經典的深度神經網絡，并且用上百萬個樣本訓練過，它也很容易受到數據分布差異的影響，導致學習性能急劇下降。

在大數據時代，異構性是數據的一個天然屬性。不同來源的數據，往往同時包含共性信息和個性信息，需要進行特征解構。特征解構是機器學習的一個關鍵難題。在傳統的機器學習領域，研究者已提出了很多成熟的特征分析和特征解構方法，如：非負矩陣分解、主成分分析、奇異值分解、典型相關分析等。但是，目前深度學習領域還缺乏成熟有效的特征解構方法，而其多層復雜網絡結構使得特征解構更具挑戰性。我們通過對深度特征進行解構，可以揭示深度網絡中輸入和輸出的因果關聯關系，提升分類性能，同時也可以極大改善深度學習系統的可解釋性。

多任務學習是異構機器學習的一個方向，主要是研究如何挖掘多個任務之間的異構數據關聯關系，以提升單個系統的性能。深度多任務學習的主要挑戰是，如何將通過深度網絡學到的特征，解構成任務共性特征和任務個性特征，與此同時還能保持特征的分類能力。任務共性特征主要捕獲不同任務之間的共享知識，而任務個性特征是每個任務獨有的特征，與其他任務是不同的。

基于對抗網絡的深度多任務(遷移)學習，仍然存在許多需要解決的問題。例如：如何解決數據分布差異和特征解構的問題，用以揭示深度網絡中不同層次特征的因果關聯，來分離共性特征和個性特征，并且平滑數據分布差異。綜上所述，我們很有必要提供一種面向特征解構的對抗合作的方法，以解決目前研究存在的問題，并推進人工智能的研究進展。

發明內容

本發明的目的在于克服現有技術中的上述缺陷，提供了一種面向特征解構的對抗合作網絡模塊及其對抗合作方法，解決現有技術中特征無法有效解構并應用于知識共享的技術問題。

為實現上述目的，本發明提供了一種面向特征解構的對抗合作網絡模塊，包括對抗合作模塊和知識共享模塊，所述對抗合作模塊包括特征生成器、領域鑒別器和排它式對抗器；所述特征生成器接收任務樣本并分別與領域鑒別器和排它式對抗器進行對抗，所述特征生成器生成領域共性特征和領域個性特征，所述知識共享模塊接收領域共性特征和領域個性特征并生成最終的分類預測。

優選的，所述知識共享模塊包括領域共性特征分類器、領域混合特征分類器和領域個性特征分類器；所述領域共性特征分別傳遞到領域共性特征分類器和領域混合特征分類器中，所述領域個性特征分別傳遞到領域混合特征分類器和領域個性特征分類器中，所述領域共性特征分類器、領域混合特征分類器和領域個性特征分類器通過兩兩之間的互補學習生成最終的分類預測。

優選的，所述排它式對抗器的運行邏輯包括前向傳遞和梯度后向反饋。

與現有技術相比，本發明提供的一種面向特征解構的對抗合作網絡模塊的有益效果在于：

1.本發明提供的面向特征解構的對抗合作網絡模塊可以同時解決深度多任務學習存在的兩個主要問題——特征解構和知識共享，這是現有技術和方法沒有考慮到的；