[發明專利]數據預處理方法、裝置及計算機存儲介質

有效

• 申請號: 202110331954.0
• 申請日: 2021-03-29
• 公開（公告）號: CN113158233B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 彭海軍
• 申請（專利權）人: 重慶首亨軟件股份有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F16/25;G06F16/215;G06F16/2455
• 代理公司: 北京同清律師事務所 11799
• 代理人: 何磊

本申請提供一種數據預處理方法、裝置及計算機存儲介質，數據預處理方法在ELT過程執行，所述ELT過程包括數據抽取階段、數據清洗階段、數據轉換階段、數據裝載階段，包括：在所述數據抽取階段從數據源抽取數據并對抽取到的數據進行脫敏處理；在所述清洗階段對所述脫敏后的數據進行清洗處理；在所述數據轉換階段對所述清洗處理后的數據進行聚合處理；在所述數據裝載階段，將所述聚合處理后的數據存儲到數據倉庫中以在后端應用中進行使用，從而提高了數據脫敏的效率。

技術領域

本申請實施例信息技術領域，尤其涉及一種數據預處理方法、裝置及計算機存儲介質。

背景技術

處理個人信息應當具有特定、明確和合理的目的,應當在個人信息主體知情的情況下獲得個人信息主體的同意,應當在達成個人信息使用目的之后刪除個人信息。這項標準最顯著的特點是將個人信息分為個人一般信息和個人敏感信息,并提出了默許同意和明示同意的概念。對于個人一般信息的處理可以建立在默許同意的基礎上,只要個人信息主體沒有明確表示反對,便可收集和利用。但對于個人敏感信息,則需要建立在明示同意的基礎上,在收集和利用之前,必須首先獲得個人信息主體明確的授權。敏感數據一般指不當使用或未經授權被人接觸或修改侵犯個人隱私權的所有信息。

為此，隨著大數據時代的到來,大數據商業價值的挖掘,用戶的精準定位,大數據中蘊藏的巨大商業價值被逐步挖掘出來,但是同時也帶來了巨大的挑戰–個人隱私信息的保護。個人信息與個人行為(比如位置信息、消費行為、網絡訪問行為)等，這些都可界定為個人隱私信息，屬于個人敏感信息，在大數據價值挖掘的基礎上如何保護人的隱私信息，也將是數據脫敏必須解決的難題。所謂數據脫敏(Data?Masking),又可稱之為數據漂白、數據去隱私化或數據變形，其主要是對某些敏感信息通過脫敏規則進行數據的變形，實現敏感數據的可靠保護。

但是，現有技術中，都是在數據后續應用的過程中才對其中的敏感數據進行脫敏處理，由此導致對敏感數據的脫敏效率較差。

發明內容

有鑒于此，本申請實施例所解決的技術問題之一在于提供一種數據預處理方法、裝置及計算機存儲介質，用以克服或者緩解現有技術中上述缺陷。

第一方面，本申請實施例提供一種數據預處理方法，其在ELT過程執行，所述ELT過程包括數據抽取階段、數據清洗階段、數據轉換階段、數據裝載階段，包括：

在所述數據抽取階段從數據源抽取數據并對抽取到的數據進行脫敏處理；

在所述清洗階段對所述脫敏后的數據進行清洗處理；

在所述數據轉換階段對所述清洗處理后的數據進行聚合處理；

在所述數據裝載階段，將所述聚合處理后的數據存儲到數據倉庫中以在后端應用中進行使用。

可選地，在本申請一實施例中，所述在所述數據抽取階段從數據源抽取數據并對抽取到的數據進行脫敏處理，包括：在所述數據抽取階段從數據源抽取數據并對抽取到的數據依次執行敏感數據發現、敏感數據梳理、脫敏方案制定、脫敏任務執行以對抽取到的數據進行脫敏處理。

可選地，在本申請一實施例中，對抽取到的數據執行敏感數據發現時，根據敏感數據特征以及分詞模型，識別所述抽取到的數據中的敏感數據。

可選地，在本申請一實施例中，對抽取到的數據執行敏感數據梳理時，對所述敏感數據進行關系的關聯。

可選地，在本申請一實施例中，對抽取到的數據執行脫敏方案制定時，根據數據脫敏需求以及基準脫敏算法，配置脫敏策略；

對抽取到的數據執行脫敏任務執行時，根據配置的脫敏策略對抽取到的數據進行脫敏處理。

可選地，在本申請一實施例中，所述根據配置的脫敏策略對抽取到的數據進行脫敏處理，包括：根據所述敏感數據的類型，調取對應的脫敏策略對抽取到的數據進行脫敏處理，其中，為不同類型的所述敏感數據配置了不同的脫敏策略。