[發(fā)明專利]一種隱私數(shù)據(jù)的清洗方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011453316.8
• 申請(qǐng)日: 2020-12-11
• 公開（公告）號(hào): CN112464289B
• 公開（公告）日: 2023-01-17
• 發(fā)明（設(shè)計(jì)）人: 吳曉鸰;胡慶鵬;胡可;凌捷
• 申請(qǐng)（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號(hào): G06F21/62
• 分類號(hào): G06F21/62;G06F16/215;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 張金福

1.一種隱私數(shù)據(jù)的清洗方法，其特征在于，包括以下步驟：

S1：從數(shù)據(jù)所有方中獲取隱私數(shù)據(jù)，并對(duì)隱私數(shù)據(jù)進(jìn)行預(yù)處理；

所述隱私數(shù)據(jù)包括若干項(xiàng)屬性數(shù)據(jù)；

S2：將隱私數(shù)據(jù)中各項(xiàng)具有缺失值的屬性數(shù)據(jù)歸類形成第一缺失數(shù)據(jù)集；

將隱私數(shù)據(jù)中各項(xiàng)不具有缺失值的屬性數(shù)據(jù)歸類形成無缺失數(shù)據(jù)集；

S3：在第一缺失數(shù)據(jù)集中，將屬性數(shù)據(jù)的正常數(shù)據(jù)值歸類形成第二缺失數(shù)據(jù)集，將屬性數(shù)據(jù)的異常數(shù)據(jù)值歸類形成異常數(shù)據(jù)集；

S4：利用數(shù)據(jù)挖掘算法構(gòu)建數(shù)據(jù)填充預(yù)測(cè)模型，并利用數(shù)據(jù)填充預(yù)測(cè)模型對(duì)第二缺失數(shù)據(jù)集中的各項(xiàng)屬性數(shù)據(jù)進(jìn)行缺失值預(yù)測(cè)和填充，從而得到已填充好的數(shù)據(jù)集；

S5：將已填充好的數(shù)據(jù)集與無缺失數(shù)據(jù)集進(jìn)行合并，得到合并數(shù)據(jù)集，并將合并數(shù)據(jù)集與異常數(shù)據(jù)集發(fā)送回?cái)?shù)據(jù)所有方，完成對(duì)隱私數(shù)據(jù)的清洗；

所述隱私數(shù)據(jù)由數(shù)據(jù)所有方對(duì)其進(jìn)行加密，并由數(shù)據(jù)所有方對(duì)其各項(xiàng)屬性數(shù)據(jù)進(jìn)行標(biāo)識(shí)，從而分別說明其各項(xiàng)屬性數(shù)據(jù)是分類數(shù)據(jù)、連續(xù)型數(shù)據(jù)還是類標(biāo)號(hào)；

其中，

對(duì)于分類數(shù)據(jù)，還包括標(biāo)識(shí)出有序分類數(shù)據(jù)和無序分類數(shù)據(jù)；

對(duì)于連續(xù)型數(shù)據(jù)，還包括根據(jù)數(shù)據(jù)項(xiàng)標(biāo)識(shí)對(duì)每項(xiàng)連續(xù)型數(shù)據(jù)進(jìn)行排序；

在步驟S1中，對(duì)隱私數(shù)據(jù)進(jìn)行預(yù)處理，具體為：將連續(xù)型數(shù)據(jù)離散化，得到離散化數(shù)據(jù)；以及將分類數(shù)據(jù)分成有序分類數(shù)據(jù)和無序分類數(shù)據(jù)兩類；

采用基于信息熵的離散化算法將連續(xù)型數(shù)據(jù)離散化，具體為：遍歷隱私數(shù)據(jù)中某項(xiàng)連續(xù)型數(shù)據(jù)的每個(gè)數(shù)據(jù)值，并設(shè)定分隔點(diǎn)對(duì)該項(xiàng)連續(xù)型數(shù)據(jù)的數(shù)據(jù)值進(jìn)行遞歸劃分，直到劃分后的信息熵小于預(yù)設(shè)的熵閾值或者劃分后的數(shù)據(jù)分組個(gè)數(shù)不小于指定的數(shù)據(jù)分組個(gè)數(shù)時(shí)，停止劃分；其中，所述分隔點(diǎn)對(duì)數(shù)據(jù)進(jìn)行劃分后得到的信息熵最小；

在所述基于信息熵的離散化算法中，

信息量l(x)的大小與事件x發(fā)生的概率p (x)成反比，即l(x)＝-log₂p(x)；

信息熵E(x)表示為：

取加權(quán)平均作為總熵：

其中，x_i為第i個(gè)事件，一共有n個(gè)事件，i＝1，2，...，n，s是信息熵的度量單位，E_i為第i個(gè)信息熵，m為n個(gè)事件中被劃分?jǐn)?shù)據(jù)的總個(gè)數(shù)，m_i為第i個(gè)事件中被劃分?jǐn)?shù)據(jù)的個(gè)數(shù)。

2.根據(jù)權(quán)利要求1所述的一種隱私數(shù)據(jù)的清洗方法，其特征在于，所述隱私數(shù)據(jù)還包括數(shù)據(jù)項(xiàng)標(biāo)識(shí)，所述數(shù)據(jù)項(xiàng)標(biāo)識(shí)用于唯一確定一項(xiàng)屬性數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種隱私數(shù)據(jù)的清洗方法，其特征在于，在步驟S3中，還包括：采用K均值聚類算法對(duì)第一缺失數(shù)據(jù)集中各項(xiàng)屬性數(shù)據(jù)的數(shù)據(jù)值進(jìn)行識(shí)別，從而識(shí)別出正常數(shù)據(jù)值和異常數(shù)據(jù)值；具體包括以下步驟：

S3.1：使用主成分分析法對(duì)第一缺失數(shù)據(jù)集中各項(xiàng)屬性數(shù)據(jù)的數(shù)據(jù)值進(jìn)行降維；

S3.2：從降維后的數(shù)據(jù)值中隨機(jī)選擇k個(gè)數(shù)據(jù)值作為簇中心，對(duì)應(yīng)得到k個(gè)簇；

S3.3：分別計(jì)算各個(gè)數(shù)據(jù)值與每個(gè)簇中心的距離，并分別將各個(gè)數(shù)據(jù)值分類到其距離最近的簇中；

S3.4：計(jì)算各簇中數(shù)據(jù)值的均值，并以均值作為新的簇中心；

S3.5：判斷簇中心的變化是否趨于穩(wěn)定；

若是，則得到最終的k個(gè)簇；

若否，則返回步驟S3.3；

S3.6：在最終的k個(gè)簇內(nèi)分別計(jì)算每個(gè)數(shù)據(jù)值與其所在族的簇中心的距離；

S3.7：將數(shù)據(jù)值與其所在族的簇中心的距離跟預(yù)設(shè)的距離閾值比較；

若數(shù)據(jù)值與其所在族的簇中心的距離大于預(yù)設(shè)的距離閾值，則識(shí)別為異常數(shù)據(jù)值；

若數(shù)據(jù)值與其所在族的簇中心的距離不大于預(yù)設(shè)的距離閾值，則識(shí)別為正常數(shù)據(jù)值。

4.根據(jù)權(quán)利要求3所述的一種隱私數(shù)據(jù)的清洗方法，其特征在于，在所述K均值聚類算法中，利用拐點(diǎn)法、輪廓系數(shù)法、間隔統(tǒng)計(jì)量法或經(jīng)驗(yàn)法確定k的值。

5.根據(jù)權(quán)利要求1所述的一種隱私數(shù)據(jù)的清洗方法，其特征在于，在步驟S4 中，所述數(shù)據(jù)挖掘算法為BP神經(jīng)網(wǎng)絡(luò)算法。

6.根據(jù)權(quán)利要求1所述的一種隱私數(shù)據(jù)的清洗方法，其特征在于，在步驟S4中，所述數(shù)據(jù)挖掘算法為CART算法。