[發明專利]一種基于多源域的任務拆分遷移學習預測方法

在審

• 申請號: 201710189728.7
• 申請日: 2017-03-28
• 公開（公告）號: CN107103364A
• 公開（公告）日: 2017-08-29
• 發明（設計）人: 王成龍;吳悅
• 申請（專利權）人: 上海大學
• 主分類號: G06N99/00
• 分類號: G06N99/00
• 代理公司: 上海上大專利事務所(普通合伙)31205
• 代理人: 陸聰明

技術領域

本發明涉及機器學習領域的遷移學習方向，特別是涉及一種基于多源域的任務拆分遷移學習預測方法。

背景技術

傳統的機器學習預測方法并沒有擺脫訓練數據和測試數據獨立同分布的約束條件，使得機器學習方法必須在樣本數據獨立同分布的前提假設條件下執行，然而，隨著現實應用中大數據的普及，這種前提假設很難適應數據智能時代的發展。針對因訓練樣本稀缺導致的機器學習方法不適應跨領域學習，以及訓練樣本的采集和標注耗費代價昂貴的問題，遷移學習作為一種類人學習的技術方法得到廣泛關注和研究發展。遷移學習不再限定源域和目標域數據獨立同分布，實現跨領域學習，通過知識遷移再利用的方式完成目標任務，是一種非零基礎學習的強智能學習方法。

遷移學習在人類學習過程中普遍存在，實現的是一種環境學到的知識、技術或方法對新環境目標任務學習的影響。遷移學習的研究中涉及到領域和任務其中和分別表示領域樣本數據集x的d維特征空間和邊緣概率分布，y和分別表示任務的樣本類別y的類別空間和預測模型，預測模型可以理解并表示成條件概率分布，即作為遷移學習的核心因素，源領域和源任務與目標領域和目標任務的關聯程度決定知識遷移的預測效果。在領域層面的知識遷移主要通過測量域的相似性來衡量其關聯程度，提高域相似性的主要方法包括基于實例的樣本抽取和基于特征的采樣映射，多源域的引入可以有效解決因遷移不充分導致的欠遷移問題，更高程度地提升域之間的相似性，進而預防負遷移的發生。在任務層面的知識遷移主要通過測量任務的關聯程度，主要方法包括模型遷移和部分參數遷移，通過任務拆分方法降低目標任務的復雜度，解決因模型復雜導致的過擬合問題，遷移模型參數的方法實現了非零基礎的學習，在跨領域學習中體現出了知識再利用的優勢。因此，在無高質量訓練樣本或樣本稀缺的情況下，針對復雜目標任務訓練出高效的預測模型很難實現。

發明內容

針對現有技術存在的缺陷，本發明的目的是提出一種基于多源域的任務拆分遷移學習預測方法，解決關聯多領域復雜目標任務的預測問題，預防和避免跨領域遷移學習中出現的欠遷移和負遷移的發生，以任務拆分方法降低模型的復雜度，解決過擬合問題，提高模型的泛化能力。

為達到上述目的，本發明采用如下技術方案：

一種基于多源域的任務拆分遷移學習預測方法，具體步驟如下：

步驟1：通過分析目標域的特征項所涉及的領域劃分成對應的子域，進而劃分出子域對應的子任務，實現對目標任務的拆分，其中以特征量為關聯因子來量化相應子任務的重要程度，實現目標任務拆分后的集成；

步驟2：特征映射域關聯，利用子任務對應的子域中所需的特征項，與源域建立特征關聯，以特征映射的方式建立共享特征空間；

步驟3：基于多源域中子任務模型的構建，結合多任務學習的方法選取基本學習器進行訓練，以迭代的方式訓練源域數據并更新模型參數，降低子模型誤差，及時優化擬合子模型；

步驟4：遷移子任務模型集成目標任務模型，完成目標任務的初始預測模型的構建；

步驟5：跨領域遷移和預測，遷移初始目標任務模型F₀(x)預測并優化，以梯度提升的方法快速擬合最終模型，完成最終預測任務。

所述步驟1中的任務拆分和任務重要程度，具體為：

步驟1.1：任務關聯拆分，首先，根據目標域中復雜的特征項對目標域進行拆分，目標域劃分成多個關聯的子域，以此將目標任務拆分成對應子域的多個子任務，任務拆分表示成加和的形式，即

步驟1.2：計算子任務對應目標任務的重要程度，即權重其中表示子任務對應子域的所需特征量，n_T表示目標域訓練所需的特征量。

所述步驟2中的基于特征映射的域關聯選取，利用子域中所需的特征項，通過特征映射的方式，建立子域和源域間的共享特征空間，實現子任務的特征關聯。

所述步驟3中的多源域子任務模型的構建包括迭代次數的選取和模型參數的更新。

所述步驟4中的目標任務模型的集成，具體為：

步驟4.1：基于子模型關聯特征項遷移共享參數模型，多源域中訓練出的對應子任務模型表示成其中，為共享參數模型，為非共享參數模型，遷移子任務模型中的共享參數模型以幫助完成目標任務，其中，共享參數模型是由步驟1.1所述的特征項訓練得到；

步驟4.2：結合步驟1.2計算出的對應子任務模型權重以及共享參數模型集成構建出初始目標任務模型，表示成為：