[發(fā)明專利]分布式文件導(dǎo)入方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202011353126.9
• 申請日: 2020-11-27
• 公開（公告）號: CN112565366B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計）人: 陳贊錦
• 申請（專利權(quán)）人: 平安普惠企業(yè)管理有限公司
• 主分類號: H04L67/06
• 分類號: H04L67/06;H04L9/40;G06F16/182
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 姚維

本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，公開了分布式文件導(dǎo)入方法、裝置、設(shè)備及存儲介質(zhì)，用于防止出現(xiàn)內(nèi)容溢出的問題、解決病毒入侵文件的問題以及提高文件導(dǎo)入的工作效率。分布式文件導(dǎo)入方法包括：獲取多個待上傳文件、多個文件上傳請求和多個業(yè)務(wù)模塊組；響應(yīng)多個文件上傳請求，得到多個掃描病毒后的待上傳文件；觸發(fā)多個預(yù)置的任務(wù)線程和多個線程任務(wù)鎖，并將每個主鍵分配至對應(yīng)的任務(wù)線程中；根據(jù)每個主鍵獲取對應(yīng)的掃描病毒后的待上傳文件，并通過目標(biāo)任務(wù)線程結(jié)合對應(yīng)的業(yè)務(wù)模塊組，處理多個掃描病毒后的待上傳文件，生成多個待導(dǎo)入文件；將多個待導(dǎo)入文件導(dǎo)入數(shù)據(jù)庫或者下游系統(tǒng)。此外，本發(fā)明還涉及區(qū)塊鏈技術(shù)，多個待上傳文件可存儲于區(qū)塊鏈中。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種分布式文件導(dǎo)入方法、裝置、設(shè)備及存儲介質(zhì)。

背景技術(shù)

隨著科技的發(fā)展，大數(shù)據(jù)廣泛應(yīng)用在各個領(lǐng)域，導(dǎo)入數(shù)據(jù)也成為一項重要的工作。目前采用文件導(dǎo)入的方法導(dǎo)入數(shù)據(jù)，文件導(dǎo)入是比較常見的業(yè)務(wù)功能，主要為系統(tǒng)跟用戶交互、獲取外部數(shù)據(jù)、轉(zhuǎn)換數(shù)據(jù)格式的一種處理方式。

目前導(dǎo)入文件主要利用前端頁面上傳文件、后端服務(wù)接收讀取文件、數(shù)據(jù)校驗、生成數(shù)據(jù)對象、處理數(shù)據(jù)，這種導(dǎo)入文件的過程會產(chǎn)生內(nèi)存溢出的問題、病毒入侵文件的問題、以及處理文件效率低下的問題。

發(fā)明內(nèi)容

本發(fā)明提供了一種分布式文件導(dǎo)入方法、裝置、設(shè)備及存儲介質(zhì)，用于防止出現(xiàn)內(nèi)容溢出的問題、解決病毒入侵文件的問題以及提高文件導(dǎo)入的工作效率。

本發(fā)明第一方面提供了一種分布式文件導(dǎo)入方法，包括：獲取多個待上傳文件以及多個文件上傳請求，并獲取終端配置好的多個業(yè)務(wù)模塊組，所述多個待上傳文件為終端校驗字節(jié)后的多個文件，一個文件上傳請求對應(yīng)一個待上傳文件；當(dāng)終端從所述多個待上傳文件中獲取到多個請求字符串和多個主鍵時，響應(yīng)所述多個文件上傳請求，得到多個掃描病毒后的待上傳文件，并將所述多個掃描病毒后的待上傳文件保存在文件存儲服務(wù)模塊中；接收終端發(fā)出的所述多個請求字符串和所述多個主鍵，通過所述多個請求字符串觸發(fā)多個預(yù)置的任務(wù)線程和多個線程任務(wù)鎖，并將每個主鍵分配至對應(yīng)的任務(wù)線程中，所述多個線程任務(wù)鎖分別用于鎖定所述多個預(yù)置的任務(wù)線程；在每個任務(wù)線程中根據(jù)每個主鍵獲取對應(yīng)的掃描病毒后的待上傳文件，并通過目標(biāo)任務(wù)線程結(jié)合對應(yīng)的業(yè)務(wù)模塊組，處理與目標(biāo)主鍵對應(yīng)的掃描病毒后的待上傳文件，生成多個待導(dǎo)入文件；將所述多個待導(dǎo)入文件導(dǎo)入數(shù)據(jù)庫或者下游系統(tǒng)，所述下游系統(tǒng)為與服務(wù)器對接的系統(tǒng)。

可選的，在本發(fā)明第一方面的第一種實現(xiàn)方式中，所述當(dāng)終端從所述多個待上傳文件中獲取到多個請求字符串和多個主鍵時，響應(yīng)所述多個文件上傳請求，得到多個掃描病毒后的待上傳文件，并將所述多個掃描病毒后的待上傳文件保存在文件存儲服務(wù)模塊中包括：當(dāng)終端從所述待上傳文件中獲取到請求字符串和多個主鍵時，采用文件存儲服務(wù)模塊對所述多個待上傳文件進行病毒掃描，得到多個掃描結(jié)果；根據(jù)所述多個掃描結(jié)果，得到多個掃描病毒后的待上傳文件，并將所述多個掃描病毒后的待上傳文件保存在所述文件存儲服務(wù)模塊中。

可選的，在本發(fā)明第一方面的第二種實現(xiàn)方式中，所述根據(jù)所述多個掃描結(jié)果，得到多個掃描病毒后的待上傳文件，并將所述多個掃描病毒后的待上傳文件保存在所述文件存儲服務(wù)模塊中包括：判斷每個掃描結(jié)果是否包括病毒文件；若目標(biāo)掃描結(jié)果包括病毒文件，則終止對應(yīng)的待上傳文件的上傳流程；若所述目標(biāo)掃描結(jié)果不包括病毒文件，則將對應(yīng)的待上傳文件確定為掃描病毒后的待上傳文件，得到多個掃描病毒后的待上傳文件，并將所述多個掃描病毒后的待上傳文件保存在所述文件存儲服務(wù)模塊中。