[發(fā)明專利]數(shù)據(jù)自清洗方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210107401.1
• 申請(qǐng)日: 2022-01-28
• 公開（公告）號(hào): CN114490612A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 劉立力;顧超
• 申請(qǐng)（專利權(quán)）人: 湖南快樂(lè)陽(yáng)光互動(dòng)娛樂(lè)傳媒有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/25;G06F16/22;G06F16/2457
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王嬌嬌

1.一種數(shù)據(jù)自清洗方法，其特征在于，所述方法包括：

確定待處理的目標(biāo)數(shù)據(jù)表和目標(biāo)數(shù)據(jù)，所述目標(biāo)數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)表對(duì)應(yīng)的非結(jié)構(gòu)化數(shù)據(jù)、且其中包含至少一條數(shù)據(jù)；

獲取所述目標(biāo)數(shù)據(jù)表對(duì)應(yīng)的字段信息，所述字段信息能夠表征所述目標(biāo)數(shù)據(jù)表中的第一字段、以及所述第一字段間的字段次序；

針對(duì)所述目標(biāo)數(shù)據(jù)中的每條數(shù)據(jù)，對(duì)該條數(shù)據(jù)執(zhí)行解析操作，以確定該條數(shù)據(jù)中的第二字段、以及所述第二字段對(duì)應(yīng)的字段值；按照所述字段次序?qū)λ龅谝蛔侄魏退龅诙侄螆?zhí)行映射操作，以確定該條數(shù)據(jù)于所述第一字段所對(duì)應(yīng)的字段值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取所述目標(biāo)數(shù)據(jù)表對(duì)應(yīng)的字段信息，包括：

獲取所述目標(biāo)數(shù)據(jù)表對(duì)應(yīng)的元數(shù)據(jù)信息表，所述元數(shù)據(jù)信息表中至少包含有序的字段元數(shù)據(jù)信息；

依次讀取所述有序的字段元數(shù)據(jù)信息，以確定當(dāng)前讀取到的字段元數(shù)據(jù)信息所匹配的字段；

將所確定的字段依次寫入至已確定的有序字段列表中，所述有序字段列表用于存儲(chǔ)字段、且其中字段的次序與所述元數(shù)據(jù)信息表中字段元數(shù)據(jù)信息的次序相同。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

輸出所述有序字段列表。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)該條數(shù)據(jù)執(zhí)行解析操作，包括：

提取該條數(shù)據(jù)中的鍵值對(duì)，所述鍵值對(duì)中的鍵表征字段、所述鍵值對(duì)中的值表征字段值；

建立所述鍵值對(duì)中字段與字段值間的對(duì)應(yīng)關(guān)系。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述按照所述字段次序?qū)λ龅谝蛔侄魏退龅诙侄螆?zhí)行映射操作，包括：

按照所述字段次序在所述第二字段中確定與所述第一字段相匹配的目標(biāo)字段；

確定所述目標(biāo)字段所對(duì)應(yīng)的字段值，并將所確定的字段值依次寫入至已確定的有序數(shù)據(jù)列表中，所述有序數(shù)據(jù)列表用于存儲(chǔ)字段值、且其中字段值的次序與所述字段次序相同。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

輸出所述有序數(shù)據(jù)列表。

7.一種數(shù)據(jù)自清洗裝置，其特征在于，所述裝置包括：

確定模塊，用于確定待處理的目標(biāo)數(shù)據(jù)表和目標(biāo)數(shù)據(jù)，所述目標(biāo)數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)表對(duì)應(yīng)的非結(jié)構(gòu)化數(shù)據(jù)、且其中包含至少一條數(shù)據(jù)；

獲取模塊，用于獲取所述目標(biāo)數(shù)據(jù)表對(duì)應(yīng)的字段信息，所述字段信息能夠表征所述目標(biāo)數(shù)據(jù)表中的第一字段、以及所述第一字段間的字段次序；

清洗模塊，用于針對(duì)所述目標(biāo)數(shù)據(jù)中的每條數(shù)據(jù)，對(duì)該條數(shù)據(jù)執(zhí)行解析操作，以確定該條數(shù)據(jù)中的第二字段、以及所述第二字段對(duì)應(yīng)的字段值；按照所述字段次序?qū)λ龅谝蛔侄魏退龅诙侄螆?zhí)行映射操作，以確定該條數(shù)據(jù)于所述第一字段所對(duì)應(yīng)的字段值。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述獲取模塊，具體用于：

獲取所述目標(biāo)數(shù)據(jù)表對(duì)應(yīng)的元數(shù)據(jù)信息表，所述元數(shù)據(jù)信息表中至少包含有序的字段元數(shù)據(jù)信息；依次讀取所述有序的字段元數(shù)據(jù)信息，以確定當(dāng)前讀取到的字段元數(shù)據(jù)信息所匹配的字段；將所確定的字段依次寫入至已確定的有序字段列表中，所述有序字段列表用于存儲(chǔ)字段、且其中字段的次序與所述元數(shù)據(jù)信息表中字段元數(shù)據(jù)信息的次序相同。

9.一種電子設(shè)備，其特征在于，所述電子設(shè)備包括：至少一個(gè)存儲(chǔ)器和至少一個(gè)處理器；所述存儲(chǔ)器存儲(chǔ)有程序，所述處理器調(diào)用所述存儲(chǔ)器存儲(chǔ)的程序，所述程序用于實(shí)現(xiàn)權(quán)利要求1-6任意一項(xiàng)所述的一種數(shù)據(jù)自清洗方法。

10.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，所述計(jì)算機(jī)可執(zhí)行指令用于執(zhí)行權(quán)利要求1-6任意一項(xiàng)所述的一種數(shù)據(jù)自清洗方法。