[發明專利]元學習方法和裝置、初始化方法、計算設備和存儲介質

在審

• 申請號: 201911119332.0
• 申請日: 2019-11-15
• 公開（公告）號: CN110852447A
• 公開（公告）日: 2020-02-28
• 發明（設計）人: 柳玉豹;藍利君;李超
• 申請（專利權）人: 騰訊云計算（北京）有限責任公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 孫之剛;閆小龍

本發明涉及風險預測模型的元學習方法和裝置、初始化方法、計算設備和計算機可讀存儲介質。元學習方法包括：生成包括多個訓練任務的訓練任務集，其中多個訓練任務被提供有各自不同的類別預測器；初始化元學習器、特征提取器和任務判別器的網絡權重，其中所述類別預測器、元學習器、特征提取器和任務判別器為人工神經網絡，類別預測器具有與元學習器相同的網絡結構；將訓練任務集中的訓練任務劃分為多個批次，并在每批次基礎上更新元學習器、特征提取器和所述任務判別器的網絡權重，其中更新是根據類別預測損失和任務判別損失進行的。該方法可以提高元學習器的泛化能力，從而在金融風控場景中的小樣本訓練中快速得到較優的風險預測模型。

技術領域

本發明涉及機器學習技術領域，具體來說涉及一種元學習方法和裝置、初始化方法、計算設備和計算機可讀存儲介質。

背景技術

機器學習、特別是深度學習自興起以來已成功應用于計算機視覺、自然語言處理、數據挖掘等多個領域。其之所以能在這些領域取得良好的表現的一個重要因素在于，在這些領域中易于獲取海量標記數據。然而，在金融風控場景中，例如在支付、借貸、理財等金融業務環節中的風險控制中，不同客戶群體的數據分布差異大，并且存在眾多具有小樣本特性的客戶群體。因此，往往難以收集足夠的標記樣本以供傳統機器學習從數據中提取風控相關的模式特征，從而容易出現模型過擬合現象。

元學習（Meta Learning）是機器學習的子領域。傳統的機器學習問題是基于海量數據集從頭開始學習一個用于預測的數學模型，這與人類學習、積累歷史經驗（也稱為元知識）指導新的機器學習任務的過程相差甚遠。元學習則是學習不同的機器學習任務的學習訓練過程，以及學習如何更快更好地訓練一個數學模型。

發明內容

有利的是，提供一種可以將從大量相關任務中學習到的元知識快速泛化到新的任務訓練中從而在較少的樣本條件下也能有效訓練風險預測模型的機制。

根據本發明的第一方面，提供了一種由計算機實施的、風險預測模型的元學習方法，包括：生成包括多個訓練任務T_i的訓練任務集T，其中所述多個訓練任務T_i被提供有各自不同的類別預測器P_i，不同的類別預測器P_i對應于不同的金融業務場景，每個訓練任務T_i包括多個數據樣本d_j，每個數據樣本d_j包括相應用戶的個人特征x_j、該相應用戶的信用風險類別y_j、以及指示該數據樣本d_j所屬的訓練任務的任務標簽t_j；初始化元學習器的網絡權重、特征提取器的網絡權重和任務判別器的網絡權重，其中所述類別預測器P_i、元學習器、特征提取器和任務判別器為人工神經網絡，所述不同的類別預測器P_i具有與所述元學習器相同的網絡結構，所述特征提取器被配置用于將數據樣本映射到特征空間，每個所述類別預測器P_i被配置用于基于映射后的數據樣本來預測該數據樣本所代表的用戶的信用風險類別，所述任務判別器被配置用于判別映射后的數據樣本來自哪個訓練任務，所述元學習器被配置用于從不同訓練任務的類別預測器P_i學習網絡權重以供初始化目標預測任務的類別預測器的網絡權重；并且將所述訓練任務集T中的訓練任務T_i劃分為多個批次T_train，并在每批次基礎上更新所述元學習器的網絡權重、所述特征提取器的網絡權重和所述任務判別器的網絡權重。在每批次基礎上更新所述元學習器的網絡權重包括：基于該批次T_train的訓練任務T_i各自的類別預測損失來更新所述元學習器的網絡權重，其中各所述類別預測損失指示該批次T_train的訓練任務T_i各自的類別預測器P_i的預測誤差。在每批次基礎上更新所述特征提取器的網絡權重包括：基于對抗損失來更新所述特征提取器的網絡權重，其中所述對抗損失為該批次T_train的訓練任務T_i各自的類別預測損失和各自的任務判別損失的相消累加，其中各所述任務判別損失指示所述任務判別器的判別誤差。在每批次基礎上更新所述任務判別器的網絡權重包括：基于該批次T_train的訓練任務T_i各自的任務判別損失來更新所述任務判別器的網絡權重。