[發(fā)明專利]數(shù)據(jù)分類方法、終端、裝置及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911044522.0
• 申請(qǐng)日: 2019-10-30
• 公開(kāi)（公告）號(hào): CN110796200B
• 公開(kāi)（公告）日: 2022-11-25
• 發(fā)明（設(shè)計(jì)）人: 陳瑞欽;黃啟軍;李詩(shī)琦;唐興興;林冰垠
• 申請(qǐng)（專利權(quán)）人: 深圳前海微眾銀行股份有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N20/00
• 代理公司: 深圳市世紀(jì)恒程知識(shí)產(chǎn)權(quán)代理事務(wù)所 44287
• 代理人: 楊雪梅

1.一種數(shù)據(jù)分類方法，其特征在于，所述數(shù)據(jù)分類方法應(yīng)用于分布式環(huán)境下的終端，各個(gè)終端內(nèi)部分別儲(chǔ)存有數(shù)據(jù)集，各個(gè)終端的數(shù)據(jù)集構(gòu)成一個(gè)原始數(shù)據(jù)集，所述原始數(shù)據(jù)集需要被分成訓(xùn)練集、驗(yàn)證集和測(cè)試集用于深度機(jī)器模型學(xué)習(xí)，所述數(shù)據(jù)分類方法包括以下步驟：

在任意終端接收到數(shù)據(jù)分類指令時(shí)，獲取目標(biāo)特征標(biāo)識(shí)，其中，所述目標(biāo)特征標(biāo)識(shí)用于標(biāo)識(shí)一個(gè)特征；

基于所述目標(biāo)特征標(biāo)識(shí)在本終端內(nèi)部將存儲(chǔ)的所述數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行分塊，得到多個(gè)數(shù)據(jù)塊，其中，同一數(shù)據(jù)塊內(nèi)各個(gè)數(shù)據(jù)對(duì)應(yīng)的所述目標(biāo)特征標(biāo)識(shí)所標(biāo)識(shí)的特征的取值都相同；

基于預(yù)設(shè)分類規(guī)則將本終端內(nèi)部的各個(gè)數(shù)據(jù)塊分別進(jìn)行分類得到子訓(xùn)練集數(shù)據(jù)、子驗(yàn)證集數(shù)據(jù)和子測(cè)試集數(shù)據(jù)，再將不同數(shù)據(jù)塊的子訓(xùn)練集數(shù)據(jù)合并得到本終端內(nèi)部的子訓(xùn)練集、將不同數(shù)據(jù)塊的子驗(yàn)證集數(shù)據(jù)合并得到本終端內(nèi)部的子驗(yàn)證集以及不同數(shù)據(jù)塊的子測(cè)試集數(shù)據(jù)合并得到本終端內(nèi)部的子測(cè)試集；

分別發(fā)送本終端內(nèi)部的所述子訓(xùn)練集至所述訓(xùn)練集、所述子驗(yàn)證集至所述驗(yàn)證集以及發(fā)送所述子測(cè)試集至所述測(cè)試集。

2.如權(quán)利要求1所述數(shù)據(jù)分類方法，其特征在于，所述數(shù)據(jù)包括目標(biāo)特征標(biāo)識(shí)，所述目標(biāo)特征標(biāo)識(shí)對(duì)應(yīng)的特征數(shù)據(jù)有m種取值，m為正整數(shù)，所述基于所述目標(biāo)特征標(biāo)識(shí)將數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行分塊，得到多個(gè)數(shù)據(jù)塊的步驟包括：

將所述數(shù)據(jù)集中目標(biāo)特征標(biāo)識(shí)對(duì)應(yīng)的特征數(shù)據(jù)取值相同的數(shù)據(jù)，劃分到一個(gè)數(shù)據(jù)塊中，以得到m種取值各自對(duì)應(yīng)的數(shù)據(jù)塊。

3.如權(quán)利要求1所述數(shù)據(jù)分類方法，其特征在于，所述基于預(yù)設(shè)分類規(guī)則對(duì)各個(gè)數(shù)據(jù)塊進(jìn)行分類操作，以得到子訓(xùn)練集、子驗(yàn)證集以及子測(cè)試集的步驟包括：

獲取子訓(xùn)練集、子驗(yàn)證集以及子測(cè)試集的比例數(shù)據(jù)；

遍歷各個(gè)數(shù)據(jù)塊，基于所述比例數(shù)據(jù)將各個(gè)數(shù)據(jù)塊對(duì)應(yīng)分配到所述子訓(xùn)練集、所述子驗(yàn)證集或所述子測(cè)試集中。

4.如權(quán)利要求1所述數(shù)據(jù)分類方法，其特征在于，所述數(shù)據(jù)集包括第一數(shù)據(jù)，所述在任意終端接收到數(shù)據(jù)分類指令時(shí)，獲取目標(biāo)特征標(biāo)識(shí)的步驟之后，還包括：

在所述第一數(shù)據(jù)中目標(biāo)特征標(biāo)識(shí)對(duì)應(yīng)的特征數(shù)據(jù)滿足訓(xùn)練集準(zhǔn)入條件時(shí)，確定所述第一數(shù)據(jù)為訓(xùn)練集數(shù)據(jù)，并發(fā)送所述訓(xùn)練集數(shù)據(jù)至所述訓(xùn)練集。

5.如權(quán)利要求4所述數(shù)據(jù)分類方法，其特征在于，所述在所述第一數(shù)據(jù)的目標(biāo)特征標(biāo)識(shí)對(duì)應(yīng)的特征數(shù)據(jù)滿足訓(xùn)練集準(zhǔn)入條件時(shí)，確定所述第一數(shù)據(jù)為訓(xùn)練集數(shù)據(jù)的步驟包括：

在所述訓(xùn)練集所需數(shù)據(jù)的數(shù)量大于或等于閾值，且所需數(shù)據(jù)的特征數(shù)據(jù)中存在所述第一數(shù)據(jù)的特征數(shù)據(jù)時(shí)，確定所述第一數(shù)據(jù)為所述訓(xùn)練集數(shù)據(jù)，其中，所需數(shù)據(jù)包括目標(biāo)特征標(biāo)識(shí)對(duì)應(yīng)的特征數(shù)據(jù)。

6.如權(quán)利要求1所述數(shù)據(jù)分類方法，其特征在于，所述數(shù)據(jù)集包括第二數(shù)據(jù)，所述在任意終端接收到數(shù)據(jù)分類指令時(shí)，獲取目標(biāo)特征標(biāo)識(shí)的步驟之后，還包括：

在所述第二數(shù)據(jù)中目標(biāo)特征標(biāo)識(shí)對(duì)應(yīng)的特征數(shù)據(jù)滿足驗(yàn)證集準(zhǔn)入條件時(shí)，確定所述第二數(shù)據(jù)為驗(yàn)證集數(shù)據(jù)，并發(fā)送所述驗(yàn)證集數(shù)據(jù)至所述驗(yàn)證集。

7.如權(quán)利要求1所述數(shù)據(jù)分類方法，其特征在于，所述數(shù)據(jù)集包括第三數(shù)據(jù)，所述在任意終端接收到數(shù)據(jù)分類指令時(shí)，獲取目標(biāo)特征標(biāo)識(shí)的步驟之后，還包括：

在所述第三數(shù)據(jù)中目標(biāo)特征標(biāo)識(shí)對(duì)應(yīng)的特征數(shù)據(jù)滿足測(cè)試集準(zhǔn)入條件時(shí)，確定所述第三數(shù)據(jù)為測(cè)試集數(shù)據(jù)，并發(fā)送所述測(cè)試集數(shù)據(jù)至所述測(cè)試集。