[發(fā)明專利]數(shù)據(jù)自清洗方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210107401.1
• 申請日: 2022-01-28
• 公開（公告）號: CN114490612A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計）人: 劉立力;顧超
• 申請（專利權(quán)）人: 湖南快樂陽光互動娛樂傳媒有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/22;G06F16/2457
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王嬌嬌

本發(fā)明提供一種數(shù)據(jù)自清洗方法、裝置、電子設(shè)備及存儲介質(zhì)，對于待處理的目標(biāo)數(shù)據(jù)表和目標(biāo)數(shù)據(jù)，能夠獲取該目標(biāo)數(shù)據(jù)表的字段信息，由于字段信息能夠表征該目標(biāo)數(shù)據(jù)表中的第一字段及其之間的字段次序，因此在對目標(biāo)數(shù)據(jù)中的每條數(shù)據(jù)執(zhí)行解析操作確定其中的第二字段及其對應(yīng)的字段值后，能夠按照字段次序?qū)Φ谝蛔侄魏偷诙侄螆?zhí)行映射操作，以此確定每條數(shù)據(jù)于第一字段所對應(yīng)的字段值。基于本發(fā)明，能夠自動將非結(jié)構(gòu)化數(shù)據(jù)的字段與數(shù)據(jù)表中的字段保持一致順序，保證數(shù)據(jù)的準(zhǔn)確性，即便后續(xù)數(shù)據(jù)表擴(kuò)展字段，也能夠通過字段信息實(shí)時確定擴(kuò)展的字段，并繼續(xù)與數(shù)據(jù)表中的字段保持一致，做到自適應(yīng)清洗，極大減少人工核對的工作量，提升效率。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)ETL(Extract-Transform-Load，抽取-轉(zhuǎn)換-加載)數(shù)據(jù)清洗技術(shù)領(lǐng)域，更具體地說，涉及一種數(shù)據(jù)自清洗方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

對于大數(shù)據(jù)hive數(shù)倉來說，數(shù)據(jù)清洗是建立數(shù)倉的第一步，其基本的功能就是根據(jù)hive數(shù)倉中數(shù)據(jù)表(即hive表)的字段將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)為結(jié)構(gòu)化數(shù)據(jù)，為后續(xù)的分析統(tǒng)計提供最原始的數(shù)據(jù)。而在數(shù)據(jù)清洗中，如何自動、精確的將非結(jié)構(gòu)化數(shù)據(jù)的字段加載對應(yīng)到hive表的字段成為最重要的步驟。

目前，數(shù)據(jù)清洗大多使用人工指定的UDF(User Defined Function，用戶自定義函數(shù))輸出字段的方式來解析非結(jié)構(gòu)化數(shù)據(jù)，這就要求UDF輸出字段必須要按數(shù)據(jù)表的字段順序與數(shù)據(jù)表中的字段一一對應(yīng)，字段一旦錯位就會導(dǎo)致整張數(shù)據(jù)表的數(shù)據(jù)錯誤。但大型hive數(shù)倉中數(shù)據(jù)表會有上百張之多、并且每張數(shù)據(jù)表的字段也可能會有上百個，因此就需要大量人工去核對UDF輸出字段，從而帶來極大的工作量，并且后續(xù)數(shù)據(jù)表一旦擴(kuò)展字段，這對于UDF輸出字段的修改和數(shù)據(jù)驗(yàn)證的工作量也是相當(dāng)大的。

發(fā)明內(nèi)容

有鑒于此，為解決上述問題，本發(fā)明提供一種數(shù)據(jù)自清洗方法、裝置、電子設(shè)備及存儲介質(zhì)，技術(shù)方案如下：

一種數(shù)據(jù)自清洗方法，所述方法包括：

確定待處理的目標(biāo)數(shù)據(jù)表和目標(biāo)數(shù)據(jù)，所述目標(biāo)數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)表對應(yīng)的非結(jié)構(gòu)化數(shù)據(jù)、且其中包含至少一條數(shù)據(jù)；

獲取所述目標(biāo)數(shù)據(jù)表對應(yīng)的字段信息，所述字段信息能夠表征所述目標(biāo)數(shù)據(jù)表中的第一字段、以及所述第一字段間的字段次序；

針對所述目標(biāo)數(shù)據(jù)中的每條數(shù)據(jù)，對該條數(shù)據(jù)執(zhí)行解析操作，以確定該條數(shù)據(jù)中的第二字段、以及所述第二字段對應(yīng)的字段值；按照所述字段次序?qū)λ龅谝蛔侄魏退龅诙侄螆?zhí)行映射操作，以確定該條數(shù)據(jù)于所述第一字段所對應(yīng)的字段值。

優(yōu)選的，所述獲取所述目標(biāo)數(shù)據(jù)表對應(yīng)的字段信息，包括：

獲取所述目標(biāo)數(shù)據(jù)表對應(yīng)的元數(shù)據(jù)信息表，所述元數(shù)據(jù)信息表中至少包含有序的字段元數(shù)據(jù)信息；

依次讀取所述有序的字段元數(shù)據(jù)信息，以確定當(dāng)前讀取到的字段元數(shù)據(jù)信息所匹配的字段；

將所確定的字段依次寫入至已確定的有序字段列表中，所述有序字段列表用于存儲字段、且其中字段的次序與所述元數(shù)據(jù)信息表中字段元數(shù)據(jù)信息的次序相同。

優(yōu)選的，所述方法還包括：

輸出所述有序字段列表。

優(yōu)選的，所述對該條數(shù)據(jù)執(zhí)行解析操作，包括：

提取該條數(shù)據(jù)中的鍵值對，所述鍵值對中的鍵表征字段、所述鍵值對中的值表征字段值；

建立所述鍵值對中字段與字段值間的對應(yīng)關(guān)系。

優(yōu)選的，所述按照所述字段次序?qū)λ龅谝蛔侄魏退龅诙侄螆?zhí)行映射操作，包括：

按照所述字段次序在所述第二字段中確定與所述第一字段相匹配的目標(biāo)字段；