[發明專利]一種基于定時輪詢的批量數據導入方法及相關設備

在審

• 申請號: 202210834520.7
• 申請日: 2022-07-14
• 公開（公告）號: CN115203304A
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 王瑞國;張國輝;吳震操
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/215;G06F16/23;G06F16/2458;G06F40/151
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 劉暢

1.一種基于定時輪詢的批量數據導入方法，其特征在于，包括下述步驟：

接收客戶端發送的導入請求，根據所述導入請求獲取導入文件；

基于所述導入文件生成導入事件，并獲得所述導入事件對應的導入進度參數；

響應于所述導入事件，將所述導入文件導入目標數據庫，并根據所述導入文件的導入進度更新所述導入進度參數，將所述導入進度參數存入進度數據庫；

接收所述客戶端發送的定時查詢請求，根據所述定時查詢請求從所述進度數據庫獲取所述導入進度參數，并根據所述導入進度參數獲得導入進度返回至所述客戶端；

導入完成后，根據接收到的所述客戶端發送的導入結果獲取請求，獲得導入結果并發送至所述客戶端。

2.根據權利要求1所述的基于定時輪詢的批量數據導入方法，其特征在于，所述將所述導入文件導入目標數據庫的步驟包括：

解析所述導入文件，獲得待導入數據，并將所述待導入數據添加至任務隊列；

開啟導入線程，從所述任務隊列中依次取出所述待導入數據，將所述待導入數據寫入所述目標數據庫。

3.根據權利要求2所述的基于定時輪詢的批量數據導入方法，其特征在于，所述根據所述導入文件的導入進度更新所述導入進度參數，將所述導入進度參數存入進度數據庫的步驟包括：

對所述待導入數據從所述任務隊列中的取出進度進行監控，根據預設的計算進度計算得到導入進度；

基于所述導入進度更新導入進度參數，并將所述導入進度參數寫入所述進度數據庫。

4.根據權利要求3所述的基于定時輪詢的批量數據導入方法，其特征在于，所述對所述待導入數據從所述任務隊列中的取出進度進行監控，根據預設的計算進度計算得到導入進度的步驟包括：

從所述任務隊列中取出待導入數據，將所述待導入數據寫入所述目標數據庫，并對所述待導入數據進行標記，得到標記數據；

將所述標記數據添加至預設表格中，得到落表數據；

計算所述落表數據占全部所述待導入數據的比例，得到落表數據比例；

根據所述落表數據比例計算出落表進度，將所述落表進度作為導入進度。

5.根據權利要求2所述的基于定時輪詢的批量數據導入方法，其特征在于，所述解析所述導入文件，獲得待導入數據的步驟包括：

對所述導入文件進行解析，得到文件對象；

提取所述文件對象中包含的對象數據，得到待導入數據。

6.根據權利要求2所述的基于定時輪詢的批量數據導入方法，其特征在于，在所述開啟導入線程，從所述任務隊列中依次取出所述待導入數據的步驟之前還包括：

調度線程池監聽所述任務隊列；

確定所述線程池中有空閑線程，則開啟一個線程作為導入線程。

7.根據權利要求1至6中任一項所述的基于定時輪詢的批量數據導入方法，其特征在于，在所述將導入結果發送至所述客戶端的步驟之后還包括：

當導入失敗時，接收所述客戶端發送的導入失敗查看請求；

根據所述查看請求獲取導入異常數據，將所述導入異常數據發送至所述客戶端。

8.一種基于定時輪詢的批量數據導入裝置，其特征在于，包括：

獲取模塊，用于接收客戶端發送的導入請求，根據所述導入請求獲取導入文件；

生成模塊，用于基于所述導入文件生成導入事件，并獲得所述導入事件對應的導入進度參數；

導入模塊，用于響應于所述導入事件，將所述導入文件導入目標數據庫，并根據所述導入文件的導入進度更新所述導入進度參數，將所述導入進度參數存入進度數據庫；

查詢模塊，用于接收所述客戶端發送的定時查詢請求，根據所述定時查詢請求從所述進度數據庫獲取所述導入進度參數，并根據所述導入進度參數獲得導入進度返回至所述客戶端；

反饋模塊，用于導入完成后，根據接收到的所述客戶端發送的導入結果獲取請求，獲得導入結果并發送至所述客戶端。