[發(fā)明專利]數(shù)據(jù)分箱方法、裝置、設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910922579.X
• 申請(qǐng)日: 2019-09-26
• 公開（公告）號(hào): CN110704535B
• 公開（公告）日: 2023-10-24
• 發(fā)明（設(shè)計(jì)）人: 陳瑞欽;黃啟軍;林冰垠;李詩(shī)琦;唐興興
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號(hào): G06F16/27
• 分類號(hào): G06F16/27
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 王韜

1.一種數(shù)據(jù)分箱方法，其特征在于，所述數(shù)據(jù)分箱方法包括：

讀取待處理數(shù)據(jù)集，并根據(jù)預(yù)設(shè)方法對(duì)所述待處理數(shù)據(jù)集中的特征進(jìn)行分箱處理，得到初始分箱序列；

對(duì)所述初始分箱序列中的分箱進(jìn)行預(yù)合并處理，并計(jì)算各預(yù)合并后的分箱的效用值；

根據(jù)所述效用值和預(yù)設(shè)條件確定待合并分箱，并對(duì)所述待合并分箱進(jìn)行合并處理，得到更新后的分箱序列；

基于所述更新后的分箱序列按預(yù)設(shè)規(guī)則更新所述預(yù)合并后的分箱及其效用值，并根據(jù)更新后的效用值對(duì)所述更新后的分箱序列中的分箱進(jìn)行合并處理，依此循環(huán)，直至達(dá)到預(yù)設(shè)停止條件時(shí)，停止分箱，并輸出分箱結(jié)果。

2.如權(quán)利要求1所述的數(shù)據(jù)分箱方法，其特征在于，所述對(duì)所述初始分箱序列中的分箱進(jìn)行預(yù)合并處理，并計(jì)算各預(yù)合并后的分箱的效用值的步驟包括：

從所述初始分箱序列中依次取出預(yù)設(shè)數(shù)量的分箱進(jìn)行預(yù)合并處理，得到對(duì)應(yīng)的堆節(jié)點(diǎn)及由所述堆節(jié)點(diǎn)構(gòu)成的堆，并計(jì)算所述堆中各堆節(jié)點(diǎn)的效用值；

所述根據(jù)所述效用值和預(yù)設(shè)條件確定待合并分箱的步驟包括：

根據(jù)所述效用值和預(yù)設(shè)條件確定目標(biāo)堆節(jié)點(diǎn)，并將所述目標(biāo)堆節(jié)點(diǎn)對(duì)應(yīng)的分箱確定為待合并分箱；

所述基于所述更新后的分箱序列按預(yù)設(shè)規(guī)則更新所述預(yù)合并后的分箱及其效用值，并根據(jù)更新后的效用值對(duì)所述更新后的分箱序列中的分箱進(jìn)行合并處理的步驟包括：

基于所述更新后的分箱序列按預(yù)設(shè)規(guī)則更新所述堆及所述堆中各堆節(jié)點(diǎn)的效用值，并根據(jù)更新后的堆中各堆節(jié)點(diǎn)的效用值對(duì)所述更新后的分箱序列中的分箱進(jìn)行合并處理。

3.如權(quán)利要求2所述的數(shù)據(jù)分箱方法，其特征在于，所述計(jì)算所述堆中各堆節(jié)點(diǎn)的效用值的步驟之前，還包括：

獲取所述初始分箱序列中各分箱的分箱信息，所述分箱信息包括效用值計(jì)算參數(shù)；

檢測(cè)所述各分箱的分箱信息的總大小是否已超過預(yù)設(shè)閾值；

若所述各分箱的分箱信息的總大小已超過預(yù)設(shè)閾值，則將所述各分箱的分箱信息存儲(chǔ)至預(yù)先構(gòu)建的分布式存儲(chǔ)系統(tǒng)中；

所述計(jì)算所述堆中各堆節(jié)點(diǎn)的效用值的步驟包括：

從所述分布式存儲(chǔ)系統(tǒng)中獲取所述堆中各堆節(jié)點(diǎn)對(duì)應(yīng)分箱的效用值計(jì)算參數(shù)，并根據(jù)各堆節(jié)點(diǎn)對(duì)應(yīng)分箱的效用值計(jì)算參數(shù)分別計(jì)算各堆節(jié)點(diǎn)的效用值。

4.如權(quán)利要求3所述的數(shù)據(jù)分箱方法，其特征在于，所述分箱信息還包括分箱編號(hào)，所述計(jì)算所述堆中各堆節(jié)點(diǎn)的效用值的步驟之后，還包括：

獲取所述堆中各堆節(jié)點(diǎn)的堆節(jié)點(diǎn)信息，并檢測(cè)所述各堆節(jié)點(diǎn)的堆節(jié)點(diǎn)信息的總大小是否已超過所述預(yù)設(shè)閾值；

若所述各堆節(jié)點(diǎn)的堆節(jié)點(diǎn)信息的總大小已超過所述預(yù)設(shè)閾值，則對(duì)所述各堆節(jié)點(diǎn)的堆節(jié)點(diǎn)信息進(jìn)行分布式存儲(chǔ)；

其中，所述堆節(jié)點(diǎn)信息包括堆節(jié)點(diǎn)的編號(hào)和效用值、及對(duì)應(yīng)分箱的分箱編號(hào)。

5.如權(quán)利要求1至4中任一項(xiàng)所述的數(shù)據(jù)分箱方法，其特征在于，所述對(duì)所述待合并分箱進(jìn)行合并處理，得到更新后的分箱序列的步驟包括：

對(duì)所述待合并分箱進(jìn)行合并處理，得到新分箱；

根據(jù)所述待合并分箱的相鄰分箱編號(hào)在所述初始分箱序列中插入所述新分箱，得到更新后的分箱序列。

6.如權(quán)利要求2至4中任一項(xiàng)所述的數(shù)據(jù)分箱方法，其特征在于，所述基于所述更新后的分箱序列按預(yù)設(shè)規(guī)則更新所述堆及所述堆中各堆節(jié)點(diǎn)的效用值的步驟包括：

刪除基于所述目標(biāo)堆節(jié)點(diǎn)對(duì)應(yīng)分箱中的任一分箱得到的堆節(jié)點(diǎn)，并根據(jù)所述新分箱及其在所述更新后的分箱序列中的相鄰分箱，生成新的堆節(jié)點(diǎn)；

在所述堆中插入所述新的堆節(jié)點(diǎn)，以更新所述堆；

獲取所述新的堆節(jié)點(diǎn)對(duì)應(yīng)分箱的效用值計(jì)算參數(shù)，并根據(jù)所述新的堆節(jié)點(diǎn)對(duì)應(yīng)分箱的效用值計(jì)算參數(shù)計(jì)算所述新的堆節(jié)點(diǎn)的效用值；

更新所述新的堆節(jié)點(diǎn)的效用值，以更新所述堆中各堆節(jié)點(diǎn)的效用值。