[發(fā)明專利]分布式學(xué)習(xí)的數(shù)據(jù)處理方法、裝置、電子設(shè)備

在審

• 申請?zhí)枺?/td>: 202110233219.6
• 申請日: 2021-03-01
• 公開（公告）號: CN112836765A
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計）人: 譚明超;馬國強(qiáng);范濤;陳天健;楊強(qiáng)
• 申請（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/27;G06N20/00
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 崔曉嵐;張穎玲

本申請?zhí)峁┝艘环N分布式學(xué)習(xí)的數(shù)據(jù)處理方法、裝置、電子設(shè)備、計算機(jī)可讀存儲介質(zhì)及計算機(jī)程序產(chǎn)品；方法包括：基于多個第二設(shè)備各自存儲的樣本特征數(shù)據(jù)的樣本特征極值和樣本數(shù)量，確定多個模擬分位點(diǎn)以及對應(yīng)的多個區(qū)間；基于每個第二設(shè)備中與每個區(qū)間對應(yīng)的子樣本數(shù)量，確定每個區(qū)間內(nèi)的總體樣本數(shù)量；基于每個區(qū)間內(nèi)的總體樣本數(shù)量以及每個區(qū)間對應(yīng)的模擬分位點(diǎn)，構(gòu)建每個區(qū)間內(nèi)的模擬數(shù)據(jù)；基于每個區(qū)間內(nèi)的模擬數(shù)據(jù)形成總模擬數(shù)據(jù)，并基于總模擬數(shù)據(jù)確定目標(biāo)分位點(diǎn)。通過本申請，能夠保護(hù)樣本特征數(shù)據(jù)的安全，并快速的得到目標(biāo)分位點(diǎn)。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)，尤其涉及一種分布式學(xué)習(xí)的數(shù)據(jù)處理方法、裝置、電子設(shè)備、計算機(jī)可讀存儲介質(zhì)及計算機(jī)程序產(chǎn)品。

背景技術(shù)

隨著大數(shù)據(jù)、分布式等技術(shù)的不斷發(fā)展，許多領(lǐng)域中需要對特征數(shù)據(jù)進(jìn)行特征分箱處理。特征分箱是一種對多個數(shù)據(jù)進(jìn)行分組的技術(shù)，每個分組可以稱之為一個分箱。在機(jī)器學(xué)習(xí)領(lǐng)域中，通過對連續(xù)型的特征進(jìn)行分箱處理，可以將特征離散化，基于特征分箱的分箱結(jié)果，考察特征與標(biāo)簽之間的相關(guān)程度。例如，基于分箱結(jié)果求取信息特征值、證據(jù)權(quán)重等，以用于對特征數(shù)據(jù)預(yù)處理和特征選擇。

相關(guān)技術(shù)中特征數(shù)據(jù)通常是存儲在多方分布式數(shù)據(jù)，需要聯(lián)合多方的特征數(shù)據(jù)進(jìn)行特征分箱處理，然而相關(guān)技術(shù)在進(jìn)行多方配合進(jìn)行聯(lián)合特征分箱時，各方會暴露自身存儲的特征數(shù)據(jù)，引發(fā)了數(shù)據(jù)泄露的危險。

發(fā)明內(nèi)容

本申請實(shí)施例提供一種分布式學(xué)習(xí)的數(shù)據(jù)處理方法、裝置、電子設(shè)備、計算機(jī)可讀存儲介質(zhì)及計算機(jī)程序產(chǎn)品，能夠保護(hù)樣本特征數(shù)據(jù)的安全，并快速的得到目標(biāo)分位點(diǎn)。

本申請實(shí)施例的技術(shù)方案是這樣實(shí)現(xiàn)的：

本申請實(shí)施例提供一種分布式學(xué)習(xí)的數(shù)據(jù)處理方法，包括：

基于多個第二設(shè)備各自存儲的樣本特征數(shù)據(jù)的樣本特征極值和樣本數(shù)量，確定多個模擬分位點(diǎn)以及對應(yīng)的多個區(qū)間；

基于每個所述第二設(shè)備中與所述每個區(qū)間對應(yīng)的子樣本數(shù)量，確定每個區(qū)間內(nèi)的總體樣本數(shù)量；

基于所述每個區(qū)間內(nèi)的總體樣本數(shù)量以及所述每個區(qū)間對應(yīng)的模擬分位點(diǎn)，構(gòu)建所述每個區(qū)間內(nèi)的模擬數(shù)據(jù)；

基于所述每個區(qū)間內(nèi)的模擬數(shù)據(jù)形成總模擬數(shù)據(jù)，并基于所述總模擬數(shù)據(jù)確定目標(biāo)分位點(diǎn)；

將所述目標(biāo)分位點(diǎn)發(fā)送給各所述第二設(shè)備，以使

各所述第二設(shè)備基于所述目標(biāo)分位點(diǎn)構(gòu)建樣本集，并基于所述樣本集訓(xùn)練用于進(jìn)行分類任務(wù)的機(jī)器學(xué)習(xí)模型。

本申請實(shí)施例提供一種分布式學(xué)習(xí)的數(shù)據(jù)處理裝置，包括：。

模擬分位點(diǎn)確定模塊，用于基于多個第二設(shè)備各自存儲的樣本特征數(shù)據(jù)的樣本特征極值和樣本數(shù)量，確定多個模擬分位點(diǎn)以及對應(yīng)的多個區(qū)間；

區(qū)間樣本數(shù)量確定模塊，用于基于每個所述第二設(shè)備中與所述每個區(qū)間對應(yīng)的子樣本數(shù)量，確定每個區(qū)間內(nèi)的總體樣本數(shù)量；

模擬數(shù)據(jù)構(gòu)建模塊，用于基于所述每個區(qū)間內(nèi)的總體樣本數(shù)量以及所述每個區(qū)間對應(yīng)的模擬分位點(diǎn)，構(gòu)建所述每個區(qū)間內(nèi)的模擬數(shù)據(jù)；

目標(biāo)分位點(diǎn)確定模塊，用于基于所述每個區(qū)間內(nèi)的模擬數(shù)據(jù)形成總模擬數(shù)據(jù)，并基于所述總模擬數(shù)據(jù)確定目標(biāo)分位點(diǎn)；

特征數(shù)據(jù)處理模塊，用于將所述目標(biāo)分位點(diǎn)發(fā)送給各所述第二設(shè)備，以使各所述第二設(shè)備基于所述目標(biāo)分位點(diǎn)構(gòu)建樣本集，并基于所述樣本集訓(xùn)練用于進(jìn)行分類任務(wù)的機(jī)器學(xué)習(xí)模型。