[發(fā)明專利]一種基于定時輪詢的批量數(shù)據(jù)導入方法及相關(guān)設備

在審

• 申請?zhí)枺?/td>: 202210834520.7
• 申請日: 2022-07-14
• 公開（公告）號: CN115203304A
• 公開（公告）日: 2022-10-18
• 發(fā)明（設計）人: 王瑞國;張國輝;吳震操
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/215;G06F16/23;G06F16/2458;G06F40/151
• 代理公司: 深圳市世聯(lián)合知識產(chǎn)權(quán)代理有限公司 44385
• 代理人: 劉暢

本申請實施例屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，涉及一種基于定時輪詢的批量數(shù)據(jù)導入方法及相關(guān)設備，包括根據(jù)客戶端發(fā)送的導入請求獲取導入文件；基于導入文件生成導入事件，并獲得導入事件對應的導入進度參數(shù)；響應于導入事件，將導入文件導入目標數(shù)據(jù)庫，并根據(jù)導入文件的導入進度更新導入進度參數(shù)，將導入進度參數(shù)存入進度數(shù)據(jù)庫；接收客戶端發(fā)送的定時查詢請求，根據(jù)定時查詢請求從進度數(shù)據(jù)庫獲取導入進度參數(shù)返回至客戶端；導入完成后，根據(jù)接收到的客戶端發(fā)送的導入結(jié)果獲取請求，將導入結(jié)果發(fā)送至客戶端。此外，本申請還涉及區(qū)塊鏈技術(shù)，導入文件可存儲于區(qū)塊鏈中。本申請可以定時獲取導入文件的導入進度，根據(jù)導入結(jié)果可以獲知導入數(shù)據(jù)是否成功。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種基于定時輪詢的批量數(shù)據(jù)導入方法及相關(guān)設備。

背景技術(shù)

隨著科技的發(fā)展，各企業(yè)的互聯(lián)網(wǎng)架構(gòu)日益龐大，Excel數(shù)據(jù)處理已經(jīng)成為從事互聯(lián)網(wǎng)研發(fā)業(yè)務單元不可避免的部分，隨著計算機和信息技術(shù)的迅猛發(fā)展和普及應用，行業(yè)應用系統(tǒng)的規(guī)模迅速擴大，行業(yè)應用所產(chǎn)生的數(shù)據(jù)呈爆炸性增長。在數(shù)據(jù)量極大的情況下，將業(yè)務需要的Excel數(shù)據(jù)導入數(shù)據(jù)平臺的技術(shù)、方法和手段已經(jīng)成為現(xiàn)實世界的迫切需求。

傳統(tǒng)的Excel數(shù)據(jù)批量導入方式一般分為同步和異步兩種方式，其中同步導入對導入數(shù)量有限制，當導入的數(shù)據(jù)量過于多時，后臺會耗費很長時間，導致出現(xiàn)報錯、網(wǎng)關(guān)超時的情況，需要分批導入；而純粹的異步導入方式，后臺在執(zhí)行導入命令后，無法獲得導入數(shù)據(jù)的導入進度，且無法把導入結(jié)果返回給前端，導致用戶無法獲知導入數(shù)據(jù)是否成功，也無法在第一時間得到導入完成的消息反饋。

發(fā)明內(nèi)容

本申請實施例的目的在于提出一種基于定時輪詢的批量數(shù)據(jù)導入方法及相關(guān)設備，以解決相關(guān)技術(shù)中大批量數(shù)據(jù)導入時無法獲得導入數(shù)據(jù)的導入進度，且容易出現(xiàn)導入失敗，同時，無法獲知數(shù)據(jù)導入情況的技術(shù)問題。

為了解決上述技術(shù)問題，本申請實施例提供一種基于定時輪詢的批量數(shù)據(jù)導入方法，采用了如下所述的技術(shù)方案：

接收客戶端發(fā)送的導入請求，根據(jù)所述導入請求獲取導入文件；

基于所述導入文件生成導入事件，并獲得所述導入事件對應的導入進度參數(shù)；

響應于所述導入事件，將所述導入文件導入目標數(shù)據(jù)庫，并根據(jù)所述導入文件的導入進度更新所述導入進度參數(shù)，將所述導入進度參數(shù)存入進度數(shù)據(jù)庫；

接收所述客戶端發(fā)送的定時查詢請求，根據(jù)所述定時查詢請求從所述進度數(shù)據(jù)庫獲取所述導入進度參數(shù)，并根據(jù)所述導入進度參數(shù)獲得導入進度返回至所述客戶端；

導入完成后，根據(jù)接收到的所述客戶端發(fā)送的導入結(jié)果獲取請求，獲得導入結(jié)果并發(fā)送至所述客戶端。

進一步的，所述將所述導入文件導入目標數(shù)據(jù)庫的步驟包括：

解析所述導入文件，獲得待導入數(shù)據(jù)，并將所述待導入數(shù)據(jù)添加至任務隊列；

開啟導入線程，從所述任務隊列中依次取出所述待導入數(shù)據(jù)，將所述待導入數(shù)據(jù)寫入所述目標數(shù)據(jù)庫。

進一步的，所述根據(jù)所述導入文件的導入進度更新所述導入進度參數(shù)，將所述導入進度參數(shù)存入進度數(shù)據(jù)庫的步驟包括：

對所述待導入數(shù)據(jù)從所述任務隊列中的取出進度進行監(jiān)控，根據(jù)預設的進度計算方式計算得到導入進度；

基于所述導入進度更新導入進度參數(shù)，并將所述導入進度參數(shù)寫入所述進度數(shù)據(jù)庫。

進一步的，所述對所述待導入數(shù)據(jù)從所述任務隊列中的取出進度進行監(jiān)控，根據(jù)預設的計算進度計算得到導入進度的步驟包括：

從所述任務隊列中取出待導入數(shù)據(jù)，將所述待導入數(shù)據(jù)寫入所述目標數(shù)據(jù)庫，并對所述待導入數(shù)據(jù)進行標記，得到標記數(shù)據(jù)；