[發明專利]隔離環境的數據處理方法、裝置、計算機設備及存儲介質

有效

• 申請號: 201811526494.1
• 申請日: 2018-12-13
• 公開（公告）號: CN109783571B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 艾明
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 黃章輝

1.一種隔離環境的數據處理方法，其特征在于，所述方法包括：

通過中間服務器下載數據文件，所述中間服務器中的所述數據文件是數據上傳方上傳的；

在第一數據庫下，根據所述數據文件的字段結構創建一個數據表；所述第一數據庫為當前未使用的數據庫；

讀取所述數據文件中的數據內容，并將所述數據內容插入所述數據表；

在將所有的所述數據內容成功插入所述數據表后，將當前使用的第二數據庫切換成所述第一數據庫。

2.根據權利要求1所述的隔離環境的數據處理方法，其特征在于，所述通過中間服務器下載數據文件：包括：

根據預設下載文件路徑從所述中間服務器獲取需要下載數據的文件夾；所述文件夾中包含由原始數據文件切分成的多個所述數據文件，所述原始數據文件中的記錄數據超過第一預置數值；所述數據文件為壓縮文件；

當所述文件夾中的數據文件下載完成后，通過上傳文件信息確定下載的數據文件和上傳的數據文件是否一致，所述上傳文件信息是所述上傳方寫入所述中間服務器的。

3.根據權利要求1或2所述的隔離環境的數據處理方法，其特征在于，所述在第一數據庫下，根據所述數據文件的字段結構創建一個數據表，包括

根據所述數據文件的字段結構在內存中建立一個虛擬表；

將所述虛擬表的表結構轉換成一個創建表語句；

在所述第一數據庫下執行所述創建表語句，完成創建所述數據表。

4.根據權利要求3所述的隔離環境的數據處理方法，其特征在于，所述在第一數據庫下，根據所述數據文件的字段結構創建一個數據表之前，所述方法還包括：

刪除在所述第一數據庫中的所有的表及其數據。

5.根據權利要求3所述的隔離環境的數據處理方法，其特征在于，所述在第一數據庫下，根據所述數據文件的字段結構創建一個數據表之前，所述方法還包括：

獲取數據庫使用信息表，所述數據庫使用信息表記錄有當前使用的數據庫和當前未使用的數據庫，以及數據庫切換信息；

根據所述數據庫使用信息表中當前未使用的數據庫和當前使用的數據庫，分別確定所述第一數據庫和所述第二數據庫。

6.根據權利要求1所述的隔離環境的數據處理方法，其特征在于，所述讀取所述數據文件中的數據內容，并將所述數據內容插入所述數據表，包括：

讀取所述數據文件，對讀取出來的每一行數據按照預置分隔符進行拆分；

對拆分后得到的字段內容進行數據清洗；

將經過數據清洗的所述字段內容依次插入所述數據表。

7.根據權利要求6所述的隔離環境的數據處理方法，其特征在于，所述讀取所述數據文件，并將所述數據內容插入所述數據表之前，所述方法還包括：

判斷所述數據文件中的記錄數據是否超過第二預置數值；

若所述數據文件中的記錄數據超過所述第二預置數值，則將所述數據文件的記錄數據平均分配到多個分區中進行處理，每個所述分區可以獨立處理所述數據文件的記錄數據；

所述讀取所述數據文件，并將所述數據內容插入所述數據表包括：

根據CPU當前可使用核數并行讀取各所述分區中所述數據文件的記錄數據，并將所述數據內容插入所述數據表。

8.一種隔離環境的數據處理裝置，其特征在于，包括：

下載模塊，用于通過中間服務器下載數據文件，所述中間服務器中的所述數據文件是數據上傳方上傳的；

創建模塊，用于在第一數據庫下，根據所述數據文件的字段結構創建一個數據表；所述第一數據庫為當前未使用的數據庫；

插入模塊，用于讀取所述數據文件中的數據內容，并將所述數據內容插入所述數據表；

切換模塊，用于在將所有的所述數據內容成功插入所述數據表后，將當前使用的第二數據庫切換成所述第一數據庫。