[發(fā)明專利]聯(lián)邦遷移學習的數(shù)據(jù)處理方法、裝置、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011393430.6
• 申請日: 2020-12-02
• 公開（公告）號: CN112381236A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計）人: 康焱;劉洋
• 申請（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 深圳市世紀恒程知識產(chǎn)權(quán)代理事務所 44287
• 代理人: 張志江

本發(fā)明公開了一種聯(lián)邦遷移學習的數(shù)據(jù)處理方法、裝置、設(shè)備及存儲介質(zhì)，其中，方法包括：通過第一樣本、第二樣本以及多個特征提取模型，確定各個第一特征提取模型；基于所述第一樣本、第三樣本、待訓練預測模型以及第一特征提取模型，確定訓練后的預測模型以及各個第二特征提取模型；基于所述第二樣本、第四樣本、訓練后的預測模型以及第二特征提取模型，確定目標預測模型以及各個目標特征提取模型。本發(fā)明能夠通過聯(lián)邦遷移學習得到兼顧模型遷移和模型可解釋的目標模型，通過目標特征提取模型對樣本的知識進行遷移，實現(xiàn)了基于不同參與方的樣本數(shù)據(jù)聯(lián)邦構(gòu)建模型，減少訓練后的模型達到目標性能的時間耗費，提升計算機算力資源的利用率。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種聯(lián)邦遷移學習的數(shù)據(jù)處理方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)

機器學習在大量標記的數(shù)據(jù)上進行監(jiān)督式訓練可以獲得很好的性能和效果，然而大型的標記數(shù)據(jù)集在數(shù)量和應用領(lǐng)域方面均有限，且手動標記足量的訓練數(shù)據(jù)往往需要高昂的代價。針對這一問題，通常采用遷移學習方法解決，即訓練一個鑒別器用于調(diào)整遷移學習網(wǎng)絡(luò)的參數(shù)，使得參數(shù)調(diào)整后的遷移學習網(wǎng)絡(luò)下，源領(lǐng)域的數(shù)據(jù)與目標領(lǐng)域的數(shù)據(jù)間的分布偏移減小，從而遷移學習網(wǎng)絡(luò)應用目標領(lǐng)域完成目標任務時有較佳的效果。

但是，深度學習模型的缺乏可解釋性使其在要求模型可解釋性的應用中(比如，金融風險控制)很難被用于遷移學習，而復雜度低的深度學習模型從原始數(shù)據(jù)中學習到可遷移知識的能力較弱，因此其遷移能力不強。這就產(chǎn)生了一個矛盾，遷移能力強的深度學習模型缺乏可解釋性，可解釋性強的深度學習模型遷移能力不強，導致深度學習模型無法兼顧可解釋性以及遷移能力。同時，目前不同的用戶數(shù)據(jù)存儲在不同數(shù)據(jù)持有方或者參與方的服務器上，出于對用戶數(shù)據(jù)的隱私保護，不同服務器之間不能直接進行用戶數(shù)據(jù)的交互，即各服務器之間不能共享各自的用戶數(shù)據(jù)以進行聯(lián)合建模，進而導致各服務器只能基于少量的用戶數(shù)據(jù)進行建模，致使需要訓練更長時間才能使得訓練后的模型達到目標性能，進而導致計算機需要耗費大量資源算力，致使計算機算力資源的利用率低。

上述內(nèi)容僅用于輔助理解本發(fā)明的技術(shù)方案，并不代表承認上述內(nèi)容是現(xiàn)有技術(shù)。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于提供一種聯(lián)邦遷移學習的數(shù)據(jù)處理方法、裝置、設(shè)備及存儲介質(zhì)，旨在解決深度學習模型無法兼顧可解釋性以及遷移能力，以及不同參與方之間不能直接進行時序數(shù)據(jù)的交互而導致計算機算力資源的利用率低的技術(shù)問題。

為實現(xiàn)上述目的，本發(fā)明提供一種聯(lián)邦遷移學習的數(shù)據(jù)處理方法，所述聯(lián)邦遷移學習的數(shù)據(jù)處理方法包括以下步驟：

通過第一參與方基于第一參與方中第一業(yè)務場景對應的第一樣本、第二業(yè)務場景對應的第二樣本以及多個特征提取模型，確定各個第一特征提取模型；

基于所述第一樣本、第二參與方中第一業(yè)務場景對應的第三樣本、待訓練預測模型以及第一特征提取模型，確定訓練后的預測模型以及各個第二特征提取模型；

基于所述第二樣本、第三參與方中第二業(yè)務場景對應的第四樣本、訓練后的預測模型以及第二特征提取模型，確定目標預測模型以及各個目標特征提取模型。

進一步地，所述通過第一參與方基于第一參與方中第一業(yè)務場景對應的第一樣本、第二業(yè)務場景對應的第二樣本以及多個特征提取模型，確定各個第一特征提取模型的步驟包括：

通過第一參與方基于預設(shè)業(yè)務需求對第一樣本的特征進行分組，以獲得預設(shè)數(shù)量的第一樣本特征組，并基于預設(shè)業(yè)務需求對第二樣本的特征進行分組，以獲得預設(shè)數(shù)量的第二樣本特征組；

通過第一參與方通過預設(shè)數(shù)量的特征提取模型獲取各個第一樣本特征組對應的第一特征表征，以及各個第二樣本特征組對應的第二特征表征；

通過第一參與方基于第一特征表征以及其對應的領(lǐng)域區(qū)分模型，確定多個第一領(lǐng)域區(qū)分損失值，基于各個第一領(lǐng)域區(qū)分損失值以及對應的特征提取模型，確定各個第三特征提取模型；