[發明專利]數據同步處理方法、裝置、設備及存儲介質

在審

• 申請號: 202011282969.4
• 申請日: 2020-11-17
• 公開（公告）號: CN112380180A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 李悅雯
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G06F16/178
• 分類號: G06F16/178;G06F16/182;G06F16/245;G06F16/27
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

1.一種數據同步處理方法，其特征在于，所述數據同步處理方法包括：

接收數據挖掘請求，按照所述數據挖掘請求獲取目標腳本文件，并通過所述目標腳本文件從預設分布式文件系統中批量讀取多個表結構數據，所述目標腳本文件包括多個表結構查詢語句；

按照結構化查詢語言SQL語法規則分別對所述多個表結構數據依次進行數據清洗和語句拼接，得到多個SQL查詢語句；

連接目標關系型數據庫，得到連接結果，當所述連接結果為連接成功時，按照所述多個SQL查詢語句進行數據查詢操作，得到查詢結果集；

當所述查詢結果集不為空值時，對所述查詢結果集進行數據清洗和格式轉換，得到多個分布式文件系統文件，每個分布式文件系統文件用于存儲每個SQL查詢語句對應的查詢數據；

將所述多個分布式文件系統文件分別導入至所述預設分布式文件系統中，得到更新結果，并將所述更新結果發送至目標終端。

2.根據權利要求1所述的數據同步處理方法，其特征在于，所述接收數據挖掘請求，按照所述數據挖掘請求獲取目標腳本文件，并通過所述目標腳本文件從預設分布式文件系統中批量讀取多個表結構數據，所述目標腳本文件包括多個表結構查詢語句，包括：

接收數據挖掘請求，對所述數據挖掘請求進行參數解析，得到業務標識值；

根據所述業務標識值查詢預設映射數據表，得到腳本文件路徑信息，按照所述腳本文件路徑信息讀取目標腳本文件，所述目標腳本文件包括多個表結構查詢語句；

通過預設標準命令調用所述目標腳本文件，從預設分布式文件系統中批量讀取多個表結構數據，并將所述多個表結構數據寫入至目標文本文件中。

3.根據權利要求2所述的數據同步處理方法，其特征在于，所述按照結構化查詢語言SQL語法規則分別對所述多個表結構數據依次進行數據清洗和語句拼接，得到多個SQL查詢語句，包括：

執行預設清理語句，對所述目標文本文件中的多個表結構數據篩選表字段名稱，并刪除多余的字符，得到清理后的表結構數據；

對所述清理后的表結構數據中結束語句之外的所有行結束符進行字符替換，得到替換后的表結構數據；

按照逗號將所述替換后的表結構數據中的所有字段分割并拼接，得到多行已拼接的表結構數據，每行已拼接的表結構數據用于指示每個表結構數據中的多個字段；

按照結構化查詢語言SQL語法規則分別對所述多行已拼接的表結構進行數據組裝，得到多個SQL查詢語句。

4.根據權利要求1所述的數據同步處理方法，其特征在于，所述連接目標關系型數據庫，得到連接結果，當所述連接結果為連接成功時，按照所述多個SQL查詢語句進行數據查詢操作，得到查詢結果集，包括：

獲取數據庫連接地址信息和用戶名密碼信息，并通過預設數據庫驅動模塊按照所述數據庫連接地址信息和所述用戶名密碼信息，連接目標關系型數據庫，得到連接結果；

當所述連接結果為連接成功時，創建數據庫游標，根據所述數據庫游標執行所述多個SQL查詢語句，得到查詢結果集，并記錄所述查詢結果集；

關閉所述數據庫游標，并釋放所述數據庫游標占用的內存資源。

5.根據權利要求1所述的數據同步處理方法，其特征在于，所述當所述查詢結果集不為空值時，對所述查詢結果集進行數據清洗和格式轉換，得到多個分布式文件系統文件，每個分布式文件系統文件用于存儲每個SQL查詢語句對應的查詢數據，包括：

當所述查詢結果集不為空值時，保留所述查詢結果集中各字段的名稱和各字段的值；

按照各字段的名稱替換各字段之間的分隔符，并對時間戳類型的數據進行格式轉換，得到已處理的數據集；

基于重定向命令將所述已處理的數據集進行記錄存儲，得到多個分布式文件系統文件，每個分布式文件系統文件用于存儲每個SQL查詢語句對應的查詢數據。