[發(fā)明專利]數(shù)據(jù)清洗方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110336886.7
• 申請(qǐng)日: 2021-03-29
• 公開（公告）號(hào): CN112925785A
• 公開（公告）日: 2021-06-08
• 發(fā)明（設(shè)計(jì)）人: 林楚榮;朱祖恩;陳旭明
• 申請(qǐng)（專利權(quán)）人: 中國(guó)建設(shè)銀行股份有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06K9/62;G06N20/00
• 代理公司: 中原信達(dá)知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11219
• 代理人: 張效榮;王志遠(yuǎn)

1.一種數(shù)據(jù)清洗方法，其特征在于，包括：

獲取不具有標(biāo)簽值的多個(gè)初始數(shù)據(jù)樣本；

將每一初始數(shù)據(jù)樣本輸入預(yù)先訓(xùn)練完成的樣本分類模型，得到每一初始數(shù)據(jù)樣本的初始標(biāo)簽值；其中，所述初始標(biāo)簽值包括：初步正常和初步異常，每一初始數(shù)據(jù)樣本與該初始數(shù)據(jù)樣本的初始標(biāo)簽值形成初始訓(xùn)練樣本；

依據(jù)所述多個(gè)初始數(shù)據(jù)樣本對(duì)應(yīng)的初始訓(xùn)練樣本訓(xùn)練預(yù)設(shè)的數(shù)據(jù)清洗模型；

獲取待清洗數(shù)據(jù)；將待清洗數(shù)據(jù)輸入訓(xùn)練完成的數(shù)據(jù)清洗模型，得到所述待清洗數(shù)據(jù)中的異常數(shù)據(jù)，將所述異常數(shù)據(jù)去除。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述依據(jù)所述多個(gè)初始數(shù)據(jù)樣本對(duì)應(yīng)的初始訓(xùn)練樣本訓(xùn)練預(yù)設(shè)的數(shù)據(jù)清洗模型，包括：

通過人工標(biāo)記方式確定初始標(biāo)簽值為初步異常的初始訓(xùn)練樣本的最終標(biāo)簽值，最終標(biāo)簽值包括最終正常和最終異常，每一初始數(shù)據(jù)樣本與該初始數(shù)據(jù)樣本對(duì)應(yīng)的最終標(biāo)簽值形成真實(shí)訓(xùn)練樣本。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述依據(jù)所述多個(gè)初始數(shù)據(jù)樣本對(duì)應(yīng)的初始訓(xùn)練樣本訓(xùn)練預(yù)設(shè)的數(shù)據(jù)清洗模型，進(jìn)一步包括：

將初始標(biāo)簽值是初步正常的初始訓(xùn)練樣本確定為最終標(biāo)簽值是最終正常的真實(shí)訓(xùn)練樣本；

使用真實(shí)訓(xùn)練樣本訓(xùn)練所述數(shù)據(jù)清洗模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述使用真實(shí)訓(xùn)練樣本訓(xùn)練所述數(shù)據(jù)清洗模型，包括：

將每一真實(shí)訓(xùn)練樣本的初始數(shù)據(jù)樣本部分作為訓(xùn)練輸入數(shù)據(jù)、最終標(biāo)簽值部分作為訓(xùn)練指向數(shù)據(jù)來(lái)訓(xùn)練所述數(shù)據(jù)清洗模型。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將待清洗數(shù)據(jù)輸入訓(xùn)練完成的數(shù)據(jù)清洗模型，得到所述待清洗數(shù)據(jù)中的異常數(shù)據(jù)，包括：

將每一待清洗數(shù)據(jù)輸入訓(xùn)練完成的數(shù)據(jù)清洗模型，根據(jù)所述數(shù)據(jù)清洗模型的輸出結(jié)果判斷該待清洗數(shù)據(jù)是否為異常數(shù)據(jù)。

6.根據(jù)權(quán)利要求1-5任一所述的方法，其特征在于，所述標(biāo)簽值指的是表征樣本所屬類別的數(shù)據(jù)。

7.根據(jù)權(quán)利要求1-5任一所述的方法，其特征在于，所述樣本分類模型為基于高斯混合模型GMM的機(jī)器學(xué)習(xí)模型。

8.根據(jù)權(quán)利要求1-5任一所述的方法，其特征在于，所述數(shù)據(jù)清洗模型為基于LightGBM算法的機(jī)器學(xué)習(xí)模型。

9.一種數(shù)據(jù)清洗裝置，其特征在于，包括：

樣本獲取單元，用于獲取不具有標(biāo)簽值的多個(gè)初始數(shù)據(jù)樣本；

樣本分類單元，用于將每一初始數(shù)據(jù)樣本輸入預(yù)先訓(xùn)練完成的樣本分類模型，得到每一初始數(shù)據(jù)樣本的初始標(biāo)簽值；其中，所述初始標(biāo)簽值包括：初步正常和初步異常，每一初始數(shù)據(jù)樣本與該初始數(shù)據(jù)樣本的初始標(biāo)簽值形成初始訓(xùn)練樣本；

訓(xùn)練單元，用于依據(jù)所述多個(gè)初始數(shù)據(jù)樣本對(duì)應(yīng)的初始訓(xùn)練樣本訓(xùn)練預(yù)設(shè)的數(shù)據(jù)清洗模型；

清洗單元，用于獲取待清洗數(shù)據(jù)；將待清洗數(shù)據(jù)輸入訓(xùn)練完成的數(shù)據(jù)清洗模型，得到所述待清洗數(shù)據(jù)中的異常數(shù)據(jù)，將所述異常數(shù)據(jù)去除。

10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述訓(xùn)練單元進(jìn)一步用于：

通過人工標(biāo)記方式確定初始標(biāo)簽值為初步異常的初始訓(xùn)練樣本的最終標(biāo)簽值，最終標(biāo)簽值包括最終正常和最終異常，每一初始數(shù)據(jù)樣本與該初始數(shù)據(jù)樣本對(duì)應(yīng)的最終標(biāo)簽值形成真實(shí)訓(xùn)練樣本；將初始標(biāo)簽值是初步正常的初始訓(xùn)練樣本確定為最終標(biāo)簽值是最終正常的真實(shí)訓(xùn)練樣本；使用真實(shí)訓(xùn)練樣本訓(xùn)練所述數(shù)據(jù)清洗模型。

11.根據(jù)權(quán)利要求10所述的裝置，其特征在于，所述訓(xùn)練單元進(jìn)一步用于：

將每一真實(shí)訓(xùn)練樣本的初始數(shù)據(jù)樣本部分作為訓(xùn)練輸入數(shù)據(jù)、最終標(biāo)簽值部分作為訓(xùn)練指向數(shù)據(jù)來(lái)訓(xùn)練所述數(shù)據(jù)清洗模型。