[發明專利]一種數據處理方法和系統

在審

• 申請號: 202010171126.0
• 申請日: 2020-03-12
• 公開（公告）號: CN111400061A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 劉坤;劉云霞
• 申請（專利權）人: 泰康保險集團股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F16/25;G06F16/955
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 李陽;趙迪

1.一種數據處理方法，其特征在于，包括：

配置管理中心獲取為不同類型的數據源生成的配置信息，將所述配置信息推送到前置機；其中，所述配置信息包括：數據源標識、數據源類型和屬性信息；

所述前置機將所述配置信息封裝到配置信息實體類，對所述配置信息實體類進行數據校驗，將校驗通過的配置信息實體類中的配置信息寫入本地配置文件；

當所述前置機接收到數據提取請求后，根據所述數據提取請求的目標數據源標識，從所述本地配置文件的配置信息中獲取對應的數據源類型和屬性信息；

所述前置機根據所述數據源類型加載對應的數據引擎，以基于所述數據引擎和所述屬性信息與所述目標數據源建立連接，之后從所述目標數據源獲取業務數據，返回所述業務數據。

2.根據權利要求1所述的方法，其特征在于，從所述目標數據源獲取業務數據，包括：

從所述目標數據源獲取原始數據，對所述原始數據進行預處理，得到業務數據；其中，所述預處理包括下列任意一項或者多項：數據校驗、數據清洗、數據轉換、添加缺省值。

3.根據權利要求2所述的方法，其特征在于，對所述原始數據進行數據校驗，包括：

根據設定的取值規則，從所述原始數據的字段信息中篩選出滿足所述取值規則的字段信息，將滿足所述取值規則的字段信息進行匯總。

4.根據權利要求2所述的方法，其特征在于，對所述原始數據進行數據轉換，包括：

解析所述原始數據得到格式化信息，將所述格式化信息封裝到實體類中。

5.根據權利要求4所述的方法，其特征在于，解析所述原始數據得到格式化信息的步驟之后，還包括：

根據預先建立的字典信息，將所述格式化信息中的設定字段信息進行數據賦值；

將所述格式化信息封裝到實體類中，包括：將賦值后的格式化信息封裝到實體類中。

6.根據權利要求1至5的任一項所述的方法，其特征在于，所述數據源類型包括下列任意一種或者多種：數據庫、webservice接口和服務器文件。

7.根據權利要求6所述的方法，其特征在于，所述數據源類型為數據庫時，所述屬性信息包括所述數據源的連接地址、連接登錄用戶、連接登錄密碼和執行SQL；

所述數據源類型為webservice接口時，所述屬性信息包括所述數據源的IP地址和端口|URL；所述數據源類型為服務器文件時，所述屬性信息包括FTP協議地址、賬號和密碼。

8.一種數據處理系統，其特征在于，包括：配置管理中心和前置機，其中，

所述配置管理中心，用于獲取為不同類型的數據源生成的配置信息，將所述配置信息推送到所述前置機；其中，所述配置信息包括：數據源標識、數據源類型和屬性信息；

所述前置機，用于將所述配置信息封裝到配置信息實體類，對所述配置信息實體類進行數據校驗，將校驗通過的配置信息實體類中的配置信息寫入本地配置文件；

所述前置機，還用于當接收到數據提取請求后，根據所述數據提取請求的目標數據源標識，從所述本地配置文件的配置信息中獲取對應的數據源類型和屬性信息；

所述前置機，還用于根據所述數據源類型加載對應的數據引擎，以基于所述數據引擎和所述屬性信息與所述目標數據源建立連接，之后從所述目標數據源獲取業務數據，返回所述業務數據。

9.一種電子設備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-7中任一所述的方法。

10.一種計算機可讀介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現如權利要求1-7中任一所述的方法。