[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911249077.1
• 申請(qǐng)日: 2019-12-09
• 公開（公告）號(hào): CN110889462B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 黃健;高雅
• 申請(qǐng)（專利權(quán)）人: 秒針信息技術(shù)有限公司
• 主分類號(hào): G06F18/214
• 分類號(hào): G06F18/214;G06F18/21
• 代理公司: 北京超成律師事務(wù)所 11646
• 代理人: 孔默

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

獲取待處理數(shù)據(jù)的多個(gè)特征信息，所述待處理數(shù)據(jù)為調(diào)查問卷數(shù)據(jù)或廣告監(jiān)測(cè)數(shù)據(jù)，所述特征信息包括年齡特征、學(xué)歷特征中的至少一種；

根據(jù)所述特征信息，計(jì)算所述待處理數(shù)據(jù)中每個(gè)原始樣本的影響因子；所述影響因子用于表征：與所述影響因子對(duì)應(yīng)的所述原始樣本造成數(shù)據(jù)偏差、使所述待處理數(shù)據(jù)偏離實(shí)際數(shù)據(jù)分布的情況；

根據(jù)所述影響因子，刪掉所述待處理數(shù)據(jù)中預(yù)設(shè)數(shù)量的目標(biāo)數(shù)據(jù)后，生成樣本數(shù)據(jù)；

所述獲取待處理數(shù)據(jù)的多個(gè)特征信息，包括：

按照預(yù)設(shè)規(guī)則對(duì)所述待處理數(shù)據(jù)進(jìn)行特征分析，得到多個(gè)所述特征信息；

根據(jù)多個(gè)所述特征信息，對(duì)所述待處理數(shù)據(jù)中的每個(gè)原始樣本逐一進(jìn)行特征編碼；

所述根據(jù)所述特征信息，計(jì)算所述待處理數(shù)據(jù)中每個(gè)原始樣本的影響因子，包括：

計(jì)算每個(gè)所述特征信息對(duì)應(yīng)的數(shù)據(jù)量在所述待處理數(shù)據(jù)中的第一占比；

獲取每個(gè)所述特征信息對(duì)應(yīng)的數(shù)據(jù)量在預(yù)設(shè)場(chǎng)景中的第二占比；

計(jì)算所述第一占比與所述第二占比之間的差值；

根據(jù)所述差值計(jì)算所述待處理數(shù)據(jù)中每個(gè)原始樣本的影響因子；

采用以下公式計(jì)算所述影響因子：

其中，a表示所述原始樣本的所述影響因子，d_i表示第i個(gè)所述特征信息對(duì)應(yīng)的所述第一占比與所述第二占比之間的差值，x_i表示所述原始樣本第i個(gè)所述特征信息對(duì)應(yīng)的特征編碼，n表示所述特征信息的數(shù)量，n為正整數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述影響因子，刪掉所述待處理數(shù)據(jù)中預(yù)設(shè)數(shù)量的目標(biāo)數(shù)據(jù)后，生成樣本數(shù)據(jù)，包括：

將所述待處理數(shù)據(jù)按照所述影響因子從大到小排序；

從大到小依次刪掉所述待處理數(shù)據(jù)中預(yù)設(shè)數(shù)量的目標(biāo)數(shù)據(jù)后，生成樣本數(shù)據(jù)。

3.一種數(shù)據(jù)處理裝置，其特征在于，包括：

第一獲取模塊，用于獲取待處理數(shù)據(jù)的多個(gè)特征信息，所述待處理數(shù)據(jù)為調(diào)查問卷數(shù)據(jù)或廣告監(jiān)測(cè)數(shù)據(jù)，所述特征信息包括年齡特征、學(xué)歷特征中的至少一種；

計(jì)算模塊，用于根據(jù)所述特征信息，計(jì)算所述待處理數(shù)據(jù)中每個(gè)原始樣本的影響因子；所述影響因子用于表征：與所述影響因子對(duì)應(yīng)的所述原始樣本造成數(shù)據(jù)偏差、使所述待處理數(shù)據(jù)偏離實(shí)際數(shù)據(jù)分布的情況；

第一生成模塊，用于根據(jù)所述影響因子，刪掉所述待處理數(shù)據(jù)中預(yù)設(shè)數(shù)量的目標(biāo)數(shù)據(jù)后，生成樣本數(shù)據(jù)；

所述第一獲取模塊用于：

按照預(yù)設(shè)規(guī)則對(duì)所述待處理數(shù)據(jù)進(jìn)行特征分析，得到多個(gè)所述特征信息；

根據(jù)多個(gè)所述特征信息，對(duì)所述待處理數(shù)據(jù)中的每個(gè)原始樣本逐一進(jìn)行特征編碼；

所述計(jì)算模塊用于：

計(jì)算每個(gè)所述特征信息對(duì)應(yīng)的數(shù)據(jù)量在所述待處理數(shù)據(jù)中的第一占比；

獲取每個(gè)所述特征信息對(duì)應(yīng)的數(shù)據(jù)量在預(yù)設(shè)場(chǎng)景中的第二占比；

計(jì)算所述第一占比與所述第二占比之間的差值；

根據(jù)所述差值計(jì)算所述待處理數(shù)據(jù)中每個(gè)原始樣本的影響因子；

采用以下公式計(jì)算所述影響因子：

其中，a表示所述原始樣本的所述影響因子，d_i表示第i個(gè)所述特征信息對(duì)應(yīng)的所述第一占比與所述第二占比之間的差值，x_i表示所述原始樣本第i個(gè)所述特征信息對(duì)應(yīng)的特征編碼，n表示所述特征信息的數(shù)量，n為正整數(shù)。

4.根據(jù)權(quán)利要求3所述的裝置，其特征在于，所述第一生成模塊用于：

將所述待處理數(shù)據(jù)按照所述影響因子從大到小排序；

從大到小依次刪掉所述待處理數(shù)據(jù)中預(yù)設(shè)數(shù)量的目標(biāo)數(shù)據(jù)后，生成樣本數(shù)據(jù)。

5.一種電子設(shè)備，其特征在于，包括：

存儲(chǔ)器，用以存儲(chǔ)計(jì)算機(jī)程序；

處理器，用以執(zhí)行如權(quán)利要求1至2中任一項(xiàng)所述的方法。

6.一種非暫態(tài)電子設(shè)備可讀存儲(chǔ)介質(zhì)，其特征在于，包括：程序，當(dāng)其藉由電子設(shè)備運(yùn)行時(shí)，使得所述電子設(shè)備執(zhí)行權(quán)利要求1至2中任一項(xiàng)所述的方法。