[發(fā)明專利]分布式集群中的樣本特征分位點(diǎn)確定方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011233423.X
• 申請(qǐng)日: 2020-11-06
• 公開（公告）號(hào): CN112367396B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計(jì)）人: 張興盟;余超凡;王磊
• 申請(qǐng)（專利權(quán)）人: 支付寶（杭州）信息技術(shù)有限公司
• 主分類號(hào): H04L67/10
• 分類號(hào): H04L67/10;H04L67/1097;H04L9/40;G06F21/60;G06N3/04;G06N3/08
• 代理公司: 北京億騰知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11309
• 代理人: 陳霽;周良玉

本說明書實(shí)施例提供一種分布式集群中的樣本特征分位點(diǎn)確定方法及裝置，用于確定樣本特征中第一屬性項(xiàng)的特征分位點(diǎn)，主節(jié)點(diǎn)的CPU從內(nèi)存中分別讀取具有設(shè)定項(xiàng)數(shù)的多個(gè)第一數(shù)組，多個(gè)第一數(shù)組分別從多個(gè)從節(jié)點(diǎn)中獲取，且分別基于樣本集中不同的分批樣本的樣本特征得到，然后按照預(yù)定的方式，針對(duì)多個(gè)第一數(shù)組進(jìn)行逐級(jí)數(shù)組合并，直至最后一級(jí)數(shù)組合并；其中任意一級(jí)數(shù)組合并包括：針對(duì)包含兩個(gè)數(shù)組中各項(xiàng)的特征值集合，進(jìn)行權(quán)重值進(jìn)行合并、偽項(xiàng)填充操作得到合并數(shù)組，并將合并數(shù)組寫入內(nèi)存，采用不經(jīng)意訪問方式，從內(nèi)存中讀取最后一級(jí)數(shù)組合并得到的合并數(shù)組中除若干個(gè)偽項(xiàng)之外的項(xiàng)，基于從該合并數(shù)組中讀取的各項(xiàng)確定所述第一屬性項(xiàng)的特征分位點(diǎn)。

技術(shù)領(lǐng)域

本說明書一個(gè)或多個(gè)實(shí)施例涉及數(shù)據(jù)安全技術(shù)領(lǐng)域，尤其涉及一種分布式集群中的樣本特征分位點(diǎn)確定方法及裝置。

背景技術(shù)

在需要對(duì)數(shù)據(jù)進(jìn)行處理的各個(gè)應(yīng)用領(lǐng)域中，數(shù)據(jù)安全問題備受關(guān)注。可信執(zhí)行環(huán)境(Trusted Execution Environment，TEE)能夠提供獨(dú)立于操作系統(tǒng)的執(zhí)行環(huán)境，通過將高安全敏感的應(yīng)用與通用軟件環(huán)境隔離開，來提供安全保護(hù)。例如，基于軟件保護(hù)擴(kuò)展(Software Guard Extensions，SGX)技術(shù)制造的可信圍圈(Enclave)等等。可信執(zhí)行環(huán)境技術(shù)通常采用硬件隔離機(jī)制，在計(jì)算平臺(tái)中隔離出包含CPU和內(nèi)存的安全區(qū)域，并且內(nèi)存中的加密數(shù)據(jù)只在CPU內(nèi)部可見。這種可信執(zhí)行環(huán)境技術(shù)能夠提供比較安全的數(shù)據(jù)計(jì)算服務(wù)。運(yùn)行在TEE中的多個(gè)可信計(jì)算節(jié)點(diǎn)可以構(gòu)成分布式集群，分布式集群能夠提供更高性能的計(jì)算服務(wù)。

當(dāng)在TEE中執(zhí)行針對(duì)網(wǎng)絡(luò)模型的訓(xùn)練或其他應(yīng)用處理時(shí)，CPU可以預(yù)先對(duì)樣本數(shù)據(jù)進(jìn)行一定的處理，例如可以對(duì)樣本特征進(jìn)行分箱，即可以根據(jù)分位點(diǎn)對(duì)多個(gè)樣本特征的特征值進(jìn)行分組，并將每一組視為一個(gè)類別值。在一個(gè)例子中，針對(duì)從1到50構(gòu)成的年齡集合，通過分位點(diǎn)15、25、35可以將該年齡集合分成4個(gè)分箱。進(jìn)行分箱之后的樣本特征，能夠?yàn)槟Ｐ陀?xùn)練帶來很多性能提升。而在確定樣本特征中某個(gè)屬性項(xiàng)的分位點(diǎn)時(shí)，CPU需要頻繁地從內(nèi)存中讀取樣本數(shù)據(jù)。當(dāng)樣本數(shù)據(jù)屬于非常重要的隱私數(shù)據(jù)時(shí)，利用可信執(zhí)行環(huán)境對(duì)樣本數(shù)據(jù)進(jìn)行處理時(shí)的安全性要求會(huì)更高。

因此，希望能有改進(jìn)的方案，可以在TEE環(huán)境下更加安全地確定樣本特征的分位點(diǎn)。

發(fā)明內(nèi)容

本說明書一個(gè)或多個(gè)實(shí)施例描述了分布式集群中的樣本特征分位點(diǎn)確定方法及裝置，可以在TEE環(huán)境下更加安全地確定樣本特征的分位點(diǎn)。具體的技術(shù)方案如下。

第一方面，實(shí)施例提供了一種分布式集群中的樣本特征分位點(diǎn)確定方法，用于確定樣本特征中第一屬性項(xiàng)的特征分位點(diǎn)，所述分布式集群包括處于TEE中的主節(jié)點(diǎn)和多個(gè)從節(jié)點(diǎn)；所述方法通過所述主節(jié)點(diǎn)的CPU執(zhí)行，所述主節(jié)點(diǎn)還包括內(nèi)存；所述方法包括：

從所述內(nèi)存中分別讀取具有設(shè)定項(xiàng)數(shù)的多個(gè)第一數(shù)組，所述多個(gè)第一數(shù)組分別從多個(gè)從節(jié)點(diǎn)中獲取，且分別基于樣本集中不同的分批樣本的樣本特征得到，所述第一數(shù)組中任意一項(xiàng)包括樣本的第一屬性項(xiàng)的特征值與對(duì)應(yīng)的權(quán)重值；

按照預(yù)定的方式，針對(duì)所述多個(gè)第一數(shù)組進(jìn)行逐級(jí)數(shù)組合并，直至最后一級(jí)數(shù)組合并；其中任意一級(jí)數(shù)組合并包括：針對(duì)包含兩個(gè)數(shù)組中各項(xiàng)的特征值集合，將其中值大小相同的特征值對(duì)應(yīng)的權(quán)重值進(jìn)行合并，得到合并序列；在所述合并序列中填充若干個(gè)偽項(xiàng)以得到填充序列，使得填充序列的項(xiàng)數(shù)為該兩個(gè)數(shù)組的項(xiàng)數(shù)之和，任意一個(gè)偽項(xiàng)包含預(yù)設(shè)特征值與對(duì)應(yīng)的預(yù)設(shè)權(quán)重值；基于所述填充序列形成合并數(shù)組，并將所述合并數(shù)組寫入所述內(nèi)存；

采用不經(jīng)意訪問方式，從所述內(nèi)存中讀取最后一級(jí)數(shù)組合并得到的合并數(shù)組中除若干個(gè)偽項(xiàng)之外的項(xiàng)，并基于從該合并數(shù)組中讀取的各項(xiàng)確定所述第一屬性項(xiàng)的特征分位點(diǎn)。

在一種實(shí)施方式中，所述第一數(shù)組為對(duì)應(yīng)的從節(jié)點(diǎn)對(duì)初始數(shù)組進(jìn)行權(quán)重值合并、偽項(xiàng)填充后得到的；所述第一數(shù)組包含多個(gè)真實(shí)項(xiàng)和若干個(gè)偽項(xiàng)；所述從所述內(nèi)存中分別讀取具有設(shè)定項(xiàng)數(shù)的多個(gè)第一數(shù)組的步驟，包括：