[發(fā)明專利]數(shù)據(jù)抽樣方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911057187.8
• 申請(qǐng)日: 2019-10-31
• 公開(kāi)（公告）號(hào): CN110825783A
• 公開(kāi)（公告）日: 2020-02-21
• 發(fā)明（設(shè)計(jì)）人: 陳瑞欽;黃啟軍;李詩(shī)琦;唐興興;林冰垠
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號(hào): G06F16/2458
• 分類號(hào): G06F16/2458
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 王韜

1.一種數(shù)據(jù)抽樣方法，其特征在于，所述數(shù)據(jù)抽樣方法包括：

統(tǒng)計(jì)多個(gè)待計(jì)算節(jié)點(diǎn)的數(shù)據(jù)條目總數(shù)，并根據(jù)預(yù)設(shè)的待抽取數(shù)據(jù)條目數(shù)和所述數(shù)據(jù)條目總數(shù)，獲得抽樣比率；

獲取各待計(jì)算節(jié)點(diǎn)中原數(shù)據(jù)塊的剩余未分配數(shù)據(jù)條目總數(shù)，并根據(jù)所述剩余未分配數(shù)據(jù)條目總數(shù)和所述抽樣比率，獲得各待計(jì)算節(jié)點(diǎn)的剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)；

根據(jù)所述剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)從原數(shù)據(jù)塊中抽取目標(biāo)數(shù)據(jù)記錄，并將所述目標(biāo)數(shù)據(jù)記錄保存至抽樣結(jié)果數(shù)據(jù)庫(kù)中。

2.如權(quán)利要求1所述的數(shù)據(jù)抽樣方法，其特征在于，所述將所述目標(biāo)數(shù)據(jù)記錄保存至抽樣結(jié)果數(shù)據(jù)庫(kù)中的步驟之前還包括：

獲取預(yù)設(shè)的隨機(jī)數(shù)種子；

獲取所述待計(jì)算節(jié)點(diǎn)的節(jié)點(diǎn)編號(hào)，并根據(jù)所述隨機(jī)數(shù)種子和所述節(jié)點(diǎn)編號(hào)生成隨機(jī)數(shù)；

若所述剩余未分配數(shù)據(jù)條目總數(shù)和所述隨機(jī)數(shù)的乘積值小于所述剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)，則將目標(biāo)數(shù)據(jù)記錄保存至抽樣結(jié)果數(shù)據(jù)庫(kù)；

若所述剩余未分配數(shù)據(jù)條目總數(shù)和所述隨機(jī)數(shù)的乘積值大于或等于所述剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)，則將目標(biāo)數(shù)據(jù)記錄丟棄。

3.如權(quán)利要求1所述的數(shù)據(jù)抽樣方法，其特征在于，所述獲得各待計(jì)算節(jié)點(diǎn)的剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)的步驟之后還包括：

若所述剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)中存在非整數(shù)形式的目標(biāo)剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)，則對(duì)所述目標(biāo)剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)進(jìn)行取整處理；

在取整處理后，從各待計(jì)算節(jié)點(diǎn)中確定目標(biāo)待補(bǔ)償節(jié)點(diǎn)，并根據(jù)所述待抽取數(shù)據(jù)條目數(shù)和所述剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)對(duì)所述目標(biāo)待補(bǔ)償節(jié)點(diǎn)進(jìn)行補(bǔ)償處理，以更新所述目標(biāo)待補(bǔ)償節(jié)點(diǎn)的剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)。

4.如權(quán)利要求1所述的數(shù)據(jù)抽樣方法，其特征在于，所述剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)以層剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)表示，所述根據(jù)所述剩余未分配數(shù)據(jù)條目總數(shù)和所述抽樣比率，獲得各待計(jì)算節(jié)點(diǎn)的剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)的步驟包括：

若檢測(cè)到預(yù)設(shè)的特征分層指令，則對(duì)各待計(jì)算節(jié)點(diǎn)中剩余未分配數(shù)據(jù)條目總數(shù)的數(shù)據(jù)記錄進(jìn)行特征分層處理，以獲得每個(gè)待計(jì)算節(jié)點(diǎn)中各特征分層的層剩余未分配數(shù)據(jù)條目總數(shù)；

根據(jù)所述層剩余未分配數(shù)據(jù)條目總數(shù)和抽樣比率，獲得每個(gè)待計(jì)算節(jié)點(diǎn)中各特征分層的層剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)；

所述根據(jù)所述剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)從原數(shù)據(jù)塊中抽取目標(biāo)數(shù)據(jù)記錄的步驟還包括：

統(tǒng)計(jì)所有待計(jì)算節(jié)點(diǎn)中屬于同一特征分層的層數(shù)據(jù)條目總數(shù)，并根據(jù)所述層數(shù)據(jù)條目總數(shù)和抽樣比率，獲得層應(yīng)抽樣數(shù)據(jù)條目總數(shù)；

根據(jù)各特征分層的層應(yīng)抽樣數(shù)據(jù)條目總數(shù)和層剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)，從原數(shù)據(jù)塊中抽取目標(biāo)數(shù)據(jù)記錄。

5.如權(quán)利要求4所述的數(shù)據(jù)抽樣方法，其特征在于，所述獲得每個(gè)待計(jì)算節(jié)點(diǎn)中各特征分層的層剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)的步驟之后還包括：

若所述層剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)中存在非整數(shù)形式的層目標(biāo)剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)，則對(duì)所述層目標(biāo)剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)進(jìn)行取整處理；

在取整處理后，從各特征分層中確定目標(biāo)特征分層，并根據(jù)所述層應(yīng)抽樣數(shù)據(jù)條目總數(shù)和所述層剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)對(duì)所述目標(biāo)特征分層進(jìn)行補(bǔ)償處理，以更新所述目標(biāo)特征分層的層剩余應(yīng)抽樣數(shù)據(jù)條目數(shù)。

6.如權(quán)利要求4所述的數(shù)據(jù)抽樣方法，其特征在于，所述從原數(shù)據(jù)塊中抽取目標(biāo)數(shù)據(jù)記錄的步驟之后還包括：

將所述目標(biāo)數(shù)據(jù)記錄按照各特征分層進(jìn)行分類排列，以生成目標(biāo)數(shù)據(jù)記錄分類表并輸出顯示。

7.如權(quán)利要求1-6任一項(xiàng)所述的數(shù)據(jù)抽樣方法，其特征在于，所述數(shù)據(jù)抽樣方法還包括：

將各待計(jì)算節(jié)點(diǎn)進(jìn)行數(shù)據(jù)封裝，并統(tǒng)計(jì)各已封裝的待計(jì)算節(jié)點(diǎn)中的所需運(yùn)行資源；

根據(jù)各所需運(yùn)行資源調(diào)取預(yù)設(shè)的系統(tǒng)運(yùn)行資源，并根據(jù)所述系統(tǒng)運(yùn)行資源以進(jìn)程形式封裝運(yùn)行對(duì)應(yīng)的待計(jì)算節(jié)點(diǎn)。