[發明專利]數據合成的方法、裝置和設備

有效

• 申請號: 202010312562.5
• 申請日: 2020-04-20
• 公開（公告）號: CN111625523B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 孫尉嘉;杜雨諾
• 申請（專利權）人: 沈陽派客動力科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/25
• 代理公司: 北京華清迪源知識產權代理有限公司 11577
• 代理人: 康震

本發明實施例公開了數據合成的方法、裝置和設備，該方法包括：獲取原始數據；將原始數據分為鍵值數據和剩余數據；根據鍵值數據生成新鍵值；將剩余數據進行處理得到離散數據和連續數據；對離散數據進行卡方分布處理得到新離散數據；對連續數據進行因子處理得到字符型數據和合并數字數據；根據字符數據生成新連續字符數據；根據數字數據Copula過程和算式數據處理生成新連續數字數據，并把Copula過程得到數字數據處理為時間型數據；將新鍵值、新離散數據、新連續字符數據、新連續數字數據和時間型數據進行數據合成。本發明可以批量生成與原始數據擁有相同集特征的合成數據，以滿足大量機器學習所需訓練集問題及其他研究需求。

技術領域

本發明實施例涉及數據合成技術領域，具體涉及數據合成的方法、裝置和設備。

背景技術

數據合成技術(Data?Synthetic)，也稱測試數據生成技術，其目的是根據已有數據集的特征生成有相同集特征的數據集。當前的數據合成技術中，如果存在離散型數據與連續性數據并存的數據集，對于連續型數據的特征提取以及生成算法并沒有一個好的方案。

對于數據安全問題的處理手段，仍然是以脫敏技術為主。以差分隱私算法為例：該算法主要是針對差分攻擊來進行數據保護，差分攻擊，指通過觀察輸出或者中間參數，利用算法進行反向推倒來逆推出輸入數據的手段。舉例說明：如果攻擊者知道了一組數據的平均值，那么當添加新的數據時，只要重新獲取數據均值，就可以推導出新添數據的具體值。差分隱私的做法是給數據添加“噪聲”來保護真實數據，比如拉普拉斯噪聲，這種手段可以有效的避免差分攻擊造成的損害，但仍然存在一些不足：無法通過這種算法得到多于原數據條數的數據，例：原始數據10萬條，生成的數據也是10萬條。

發明內容

本發明實施例的目的在于提供數據合成的方法、裝置和設備，用以解決現有數據合成無法得到多余原始數據條數的問題。

為實現上述目的，本發明實施例主要提供如下技術方案：

第一方面，本發明實施例提供了一種數據合成的方法，包括：獲取原始數據；將所述原始數據分為鍵值數據和剩余數據；根據所述鍵值數據生成新鍵值；將所述剩余數據進行處理得到離散數據和連續數據；對所述離散數據進行卡方分布處理得到新離散數據；對所述連續數據進行因子處理得到字符型數據、第一數字數據和時間數據，并將所述時間數據進行因子化得到第二數字數據，進而根據所述第一數字數據和所述第二數字數據得到合并數字數據；根據所述字符數據生成新連續字符數據；根據所述合并數字數據進行Copula過程和算式數據處理生成新連續數字數據，并把Copula過程得到數字數據處理為時間型數據；將所述新鍵值、所述新離散數據、所述新連續字符數據、所述新連續數字數據和所述時間型數據進行數據合成。

根據本發明的一個實施例，所述根據所述字符數據生成新連續字符數據，包括：根據所述字符數據使用抽取轉換裝載ETL生成所述新連續字符數據。

根據本發明的一個實施例，所述將所述原始數據分為所述鍵值數據和所述剩余數據，包括：對所述原始數據進行數據清洗；對所述數據清洗后的原始數據，采用根據主鍵約束得到所述鍵值數據和所述剩余數據。

第二方面，本發明實施例還提供一種數據合成的裝置，包括：原始數據獲取模塊，用于獲取原始數據；處理模塊，用于將所述原始數據分為鍵值數據和剩余數據，根據所述鍵值數據生成新鍵值，并將所述剩余數據進行處理得到離散數據和連續數據；所述處理模塊還用于對所述離散數據進行卡方分布處理得到新離散數據，并對所述連續數據進行因子處理得到字符型數據、第一數字數據和時間數據，并將所述時間數據進行因子化得到第二數字數據，進而根據所述第一數字數據和所述第二數字數據得到合并數字數據；所述處理模塊還用于根據所述字符數據生成新連續字符數據，根據所述合并數字數據進行Copula過程和算式數據處理生成新連續數字數據，并把Copula過程得到數字數據處理為時間型數據；將所述新鍵值、所述新離散數據、所述新連續字符數據、所述新連續數字數據和所述時間型數據進行數據合成。