[發明專利]數據合成的方法、裝置和設備

有效

• 申請號: 202010312562.5
• 申請日: 2020-04-20
• 公開（公告）號: CN111625523B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 孫尉嘉;杜雨諾
• 申請（專利權）人: 沈陽派客動力科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/25
• 代理公司: 北京華清迪源知識產權代理有限公司 11577
• 代理人: 康震

1.一種數據合成的方法，其特征在于，包括：

由數據庫或其他源讀取原始數據；

將所述原始數據分為鍵值數據和剩余數據；

根據所述鍵值數據生成新鍵值；

將所述剩余數據進行處理得到離散數據和連續數據；具體地，將去除主鍵值后的剩余數據按照數據類型分為字符型，數字型數據及時間類數據和離散數據；其中，類型區分的方式是利用Java連接SQL，讀取數據庫內存儲的數據類型，與自設類型或java類型建立匹配關系；

對所述離散數據進行卡方分布處理得到新離散數據；

對所述連續數據進行因子處理得到字符數據、第一數字數據和時間數據，并將所述時間數據進行因子化得到第二數字數據，進而根據所述第一數字數據和所述第二數字數據得到合并數字數據；

根據所述字符數據生成新連續字符數據；

根據所述合并數字數據進行Copula過程和算式數據處理生成新連續數字數據，并把Copula過程得到數字數據處理為時間型數據；

將所述新鍵值、所述新離散數據、所述新連續字符數據、所述新連續數字數據和所述時間型數據進行數據合成，生成與所述原始數據擁有相同集特征的合成數據，作為大量機器學習所需訓練集數據。

2.根據權利要求1所述的數據合成的方法，其特征在于，所述根據所述字符數據生成新連續字符數據，包括：

根據所述字符數據使用抽取轉換裝載ETL生成所述新連續字符數據。

3.根據權利要求1所述的數據合成的方法，其特征在于，所述將所述原始數據分為所述鍵值數據和所述剩余數據，包括：

對所述原始數據進行數據清洗；

對所述數據清洗后的原始數據，采用根據主鍵約束得到所述鍵值數據和所述剩余數據。

4.一種數據合成的裝置，其特征在于，包括：

原始數據獲取模塊，用于由數據庫或其他源獲取原始數據；

處理模塊，用于將所述原始數據分為鍵值數據和剩余數據，根據所述鍵值數據生成新鍵值，并將所述剩余數據進行處理得到離散數據和連續數據；具體地，將去除主鍵值后的剩余數據按照數據類型分為字符型，數字型數據及時間類數據和離散數據；其中，類型區分的方式是利用Java連接SQL，讀取數據庫內存儲的數據類型，與自設類型或java類型建立匹配關系；

所述處理模塊還用于對所述離散數據進行卡方分布處理得到新離散數據，并對所述連續數據進行因子處理得到字符數據、第一數字數據和時間數據，并將所述時間數據進行因子化得到第二數字數據，進而根據所述第一數字數據和所述第二數字數據得到合并數字數據；所述處理模塊還用于根據所述字符數據生成新連續字符數據，根據所述合并數字數據進行Copula過程和算式數據處理生成新連續數字數據，并把Copula過程得到數字數據處理為時間型數據；將所述新鍵值、所述新離散數據、所述新連續字符數據、所述新連續數字數據和所述時間型數據進行數據合成，生成與所述原始數據擁有相同集特征的合成數據，作為大量機器學習所需訓練集數據。

5.根據權利要求4所述的數據合成的裝置，其特征在于，所述處理模塊用于根據所述字符數據使用抽取轉換裝載ETL生成所述新連續字符數據。

6.根據權利要求4所述的數據合成的裝置，其特征在于，所述處理模塊用于對所述原始數據進行數據清洗；對所述數據清洗后的原始數據，采用根據主鍵約束得到所述鍵值數據和所述剩余數據。

7.一種電子設備，其特征在于，所述電子設備包括：至少一個處理器和至少一個存儲器；

所述存儲器用于存儲一個或多個程序指令；

所述處理器，用于運行一個或多個程序指令，用以執行如權利要求1-3任一項所述的數據合成的方法。

8.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質中包含一個或多個程序指令，所述一個或多個程序指令用于執行如權利要求1-3任一項所述的數據合成的方法。