[發(fā)明專利]一種CSV文件的批量導(dǎo)入方法和相關(guān)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202210771645.X
• 申請(qǐng)日: 2022-06-30
• 公開（公告）號(hào): CN115328865A
• 公開（公告）日: 2022-11-11
• 發(fā)明（設(shè)計(jì)）人: 梁駿強(qiáng);熊志強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 深圳市漢云科技有限公司
• 主分類號(hào): G06F16/17
• 分類號(hào): G06F16/17;G06F16/16;G06F16/172;G06F16/182
• 代理公司: 深圳市特訊知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44653
• 代理人: 黃彧

1.一種CSV文件的批量導(dǎo)入方法，其特征在于，所述方法包括：

獲取待導(dǎo)入的若干個(gè)CSV文件的文件信息；

根據(jù)所述文件信息，確定每一個(gè)所述CSV文件對(duì)應(yīng)的目標(biāo)節(jié)點(diǎn)；以及，

根據(jù)所述文件信息，對(duì)所述CSV文件進(jìn)行分組，得到若干個(gè)計(jì)劃列表；

根據(jù)預(yù)設(shè)的遍歷終止規(guī)則，針對(duì)每一個(gè)所述計(jì)劃列表，循環(huán)遍歷該計(jì)劃列表中的CSV文件，并當(dāng)遍歷一個(gè)所述CSV文件時(shí)，將該CSV文件發(fā)送至對(duì)應(yīng)的目標(biāo)節(jié)點(diǎn)，直至遍歷結(jié)束，得到與所述CSV文件對(duì)應(yīng)的目標(biāo)表。

2.根據(jù)權(quán)利要求1所述CSV文件的批量導(dǎo)入方法，其特征在于，所述文件信息包括每一個(gè)所述CSV文件的文件大小，所述根據(jù)所述文件信息，確定每一個(gè)所述CSV文件對(duì)應(yīng)的目標(biāo)節(jié)點(diǎn)包括：

根據(jù)所述文件大小，對(duì)所述CSV文件進(jìn)行排序，得到文件序列表；

根據(jù)所述文件序列表，按照從大到小的順序，依次確定每一個(gè)所述CSV文件對(duì)應(yīng)的目標(biāo)節(jié)點(diǎn)。

3.根據(jù)權(quán)利要求1或2所述CSV文件的批量導(dǎo)入方法，其特征在于，所述文件信息包括各個(gè)節(jié)點(diǎn)的磁盤空間，所述根據(jù)所述文件信息，確定每一個(gè)所述CSV文件對(duì)應(yīng)的目標(biāo)節(jié)點(diǎn)包括：

針對(duì)每一個(gè)所述CSV文件，根據(jù)所述磁盤空間，確定所述節(jié)點(diǎn)中的候選節(jié)點(diǎn)；

針對(duì)每一個(gè)所述候選節(jié)點(diǎn)，根據(jù)該候選節(jié)點(diǎn)的磁盤空間和與該候選節(jié)點(diǎn)對(duì)應(yīng)的CSV文件的大小，計(jì)算該候選節(jié)點(diǎn)對(duì)應(yīng)的剩余空間；

根據(jù)所述剩余空間，確定該CSV文件對(duì)應(yīng)的目標(biāo)節(jié)點(diǎn)，并對(duì)所述目標(biāo)節(jié)點(diǎn)對(duì)應(yīng)的磁盤空間進(jìn)行更新。

4.根據(jù)權(quán)利要求1所述CSV文件的批量導(dǎo)入方法，其特征在于，所述當(dāng)遍歷一個(gè)所述CSV文件時(shí)，將該CSV文件發(fā)送至對(duì)應(yīng)的目標(biāo)節(jié)點(diǎn)包括：

當(dāng)遍歷一個(gè)所述CSV文件時(shí)，基于預(yù)設(shè)的資源池，獲取與該CSV文件對(duì)應(yīng)的發(fā)送資源，其中，所述資源池包括每一個(gè)所述目標(biāo)節(jié)點(diǎn)對(duì)應(yīng)的發(fā)送資源；

當(dāng)獲取成功時(shí)，基于所述發(fā)送資源，將該CSV文件發(fā)送至所述目標(biāo)節(jié)點(diǎn)；

當(dāng)檢測(cè)到針對(duì)所述CSV文件的發(fā)送成功指令時(shí)，將所述發(fā)送資源返回至所述資源池。

5.根據(jù)權(quán)利要求1、3或4中任意一項(xiàng)所述CSV文件的批量導(dǎo)入方法，其特征在于，所述當(dāng)遍歷一個(gè)所述CSV文件時(shí)，將該CSV文件發(fā)送至對(duì)應(yīng)的目標(biāo)節(jié)點(diǎn)，直至遍歷結(jié)束，得到與所述CSV文件對(duì)應(yīng)的目標(biāo)表包括：

為每一個(gè)所述目標(biāo)節(jié)點(diǎn)設(shè)置若干個(gè)臨時(shí)表；

循環(huán)將所述CSV文件導(dǎo)入至預(yù)設(shè)的初始表中，直至檢測(cè)到發(fā)送終止指令，得到目標(biāo)表，其中，所述循環(huán)將所述CSV文件導(dǎo)入至預(yù)設(shè)的初始表中包括：

依次將所述CSV文件導(dǎo)入至所述臨時(shí)表中，直至所述臨時(shí)表中的CSV文件的數(shù)量等于預(yù)設(shè)的數(shù)據(jù)閾值，其中，每一個(gè)所述目標(biāo)節(jié)點(diǎn)設(shè)有若干個(gè)臨時(shí)表；

將所述臨時(shí)表中的CSV文件導(dǎo)入至所述初始表。

6.根據(jù)權(quán)利要求1所述CSV文件的批量導(dǎo)入方法，其特征在于，所述當(dāng)檢測(cè)到發(fā)送結(jié)束指令時(shí)，針對(duì)每一個(gè)所述目標(biāo)節(jié)點(diǎn)，根據(jù)與該目標(biāo)節(jié)點(diǎn)對(duì)應(yīng)的加載隊(duì)列，生成與該目標(biāo)節(jié)點(diǎn)對(duì)應(yīng)的目標(biāo)表之后，還包括：

根據(jù)預(yù)設(shè)的重分布規(guī)則，確定所述目標(biāo)表中的重分布表；

對(duì)該重分布表對(duì)應(yīng)的目標(biāo)節(jié)點(diǎn)進(jìn)行節(jié)點(diǎn)擴(kuò)容，得到擴(kuò)容節(jié)點(diǎn)，并創(chuàng)建與所述擴(kuò)容節(jié)點(diǎn)對(duì)應(yīng)的中轉(zhuǎn)表；

對(duì)所述重分布表中的數(shù)據(jù)進(jìn)行重分布，得到重分布數(shù)據(jù)，并將所述重分布數(shù)據(jù)導(dǎo)入所述中轉(zhuǎn)表，得到與每一個(gè)所述擴(kuò)容節(jié)點(diǎn)對(duì)應(yīng)的更新表。

7.根據(jù)權(quán)利要求6所述CSV文件的批量導(dǎo)入方法，其特征在于，所述根據(jù)預(yù)設(shè)的重分布規(guī)則，確定所述目標(biāo)表中的重分布表包括：

當(dāng)所述目標(biāo)表為非哈希表時(shí)，根據(jù)預(yù)設(shè)的確定規(guī)則和所述目標(biāo)表的數(shù)據(jù)量，確定所有所述目標(biāo)表中的重分布表；

當(dāng)所述目標(biāo)表為哈希表時(shí)，確定所有所述目標(biāo)表為重分布表。