[發(fā)明專利]數(shù)據(jù)入庫(kù)方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202310540331.3
• 申請(qǐng)日: 2023-05-15
• 公開(kāi)（公告）號(hào): CN116257365B
• 公開(kāi)（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 黃燦鑫
• 申請(qǐng)（專利權(quán)）人: 建信金融科技有限責(zé)任公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06F9/46;G06F16/25
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 劉海蓮

1.一種數(shù)據(jù)入庫(kù)方法，其特征在于，包括：

讀取數(shù)據(jù)文件；

獲取所述數(shù)據(jù)文件待寫入的數(shù)據(jù)庫(kù)對(duì)應(yīng)的目標(biāo)服務(wù)器的性能參數(shù)和運(yùn)行參數(shù)；其中，所述運(yùn)行參數(shù)包括：運(yùn)行線程數(shù)和等待線程數(shù)；所述性能參數(shù)包括：CPU內(nèi)核數(shù)量和數(shù)據(jù)庫(kù)最大限制值；數(shù)據(jù)寫入?yún)?shù)包括：核心線程數(shù)、批量提交條數(shù)和最大線程數(shù)；所述目標(biāo)服務(wù)器是指為所述數(shù)據(jù)文件待寫入的數(shù)據(jù)庫(kù)提供服務(wù)的服務(wù)器；

根據(jù)所述CPU內(nèi)核數(shù)量、所述運(yùn)行線程數(shù)和所述等待線程數(shù)，確定所述核心線程數(shù)；

根據(jù)所述核心線程數(shù)、所述數(shù)據(jù)文件的數(shù)據(jù)量和所述數(shù)據(jù)庫(kù)最大限制值，確定所述批量提交條數(shù)；

以及根據(jù)所述核心線程數(shù)，確定所述最大線程數(shù)；

根據(jù)所述數(shù)據(jù)寫入?yún)?shù)，將所述數(shù)據(jù)文件中的數(shù)據(jù)寫入所述數(shù)據(jù)庫(kù)；

所述根據(jù)所述核心線程數(shù)、所述數(shù)據(jù)文件的數(shù)據(jù)量和所述數(shù)據(jù)庫(kù)最大限制值，確定所述批量提交條數(shù)，包括：

判斷所述數(shù)據(jù)文件的數(shù)據(jù)量與所述核心線程數(shù)的比值和所述數(shù)據(jù)庫(kù)最大限制值之間的最小值；

若數(shù)據(jù)庫(kù)最大限制值最小，則將數(shù)據(jù)庫(kù)最大限制值作為批量提交條數(shù)；若數(shù)據(jù)文件的數(shù)據(jù)量與核心線程數(shù)的比值最小，則將數(shù)據(jù)文件的數(shù)據(jù)量與核心線程數(shù)的比值作為批量提交條數(shù)；

其中，在所述運(yùn)行線程數(shù)大于所述等待線程數(shù)的情況下，所述核心線程數(shù)的計(jì)算公式如下：

Y=A/（1-k）+（B-C）/2；

在所述運(yùn)行線程數(shù)小于等于所述等待線程數(shù)的情況下，所述核心線程數(shù)的計(jì)算公式如下：

Y=A/（1-k）-（C-B）/2；

其中，A為所述CPU內(nèi)核數(shù)量，k為阻塞系數(shù)，B為所述運(yùn)行線程數(shù)，C為所述等待線程數(shù)，Y為核心線程數(shù)；

所述方法，還包括：

通過(guò)主線程逐行讀取數(shù)據(jù)文件并解析所述數(shù)據(jù)文件為SQL語(yǔ)句，并創(chuàng)建線程池管理插入數(shù)據(jù)庫(kù)線程的操作；設(shè)置行數(shù)閾值，當(dāng)讀取到所述行數(shù)閾值的行數(shù)時(shí)，把所述行數(shù)的數(shù)據(jù)添加到一個(gè)寫文件子線程去做插入到所述數(shù)據(jù)庫(kù)的處理；所述寫文件子線程把拿到的數(shù)據(jù)做遍歷，然后根據(jù)所述批量提交條數(shù)，遍歷到所述批量提交條數(shù)做一個(gè)事務(wù)的批處理提交。

2.一種數(shù)據(jù)入庫(kù)裝置，其特征在于，包括：

讀取模塊，用于讀取數(shù)據(jù)文件；

獲取模塊，用于獲取所述數(shù)據(jù)文件待寫入的數(shù)據(jù)庫(kù)對(duì)應(yīng)的目標(biāo)服務(wù)器的性能參數(shù)和運(yùn)行參數(shù)；其中，所述運(yùn)行參數(shù)包括：運(yùn)行線程數(shù)和等待線程數(shù)；所述性能參數(shù)包括：CPU內(nèi)核數(shù)量和數(shù)據(jù)庫(kù)最大限制值；數(shù)據(jù)寫入?yún)?shù)包括：核心線程數(shù)、批量提交條數(shù)和最大線程數(shù)；所述目標(biāo)服務(wù)器是指為所述數(shù)據(jù)文件待寫入的數(shù)據(jù)庫(kù)提供服務(wù)的服務(wù)器；

確定模塊，用于根據(jù)所述CPU內(nèi)核數(shù)量、所述運(yùn)行線程數(shù)和所述等待線程數(shù)，確定所述核心線程數(shù)；根據(jù)所述核心線程數(shù)、所述數(shù)據(jù)文件的數(shù)據(jù)量和所述數(shù)據(jù)庫(kù)最大限制值，確定所述批量提交條數(shù)；以及根據(jù)所述核心線程數(shù)，確定所述最大線程數(shù)；

寫入模塊，用于根據(jù)所述數(shù)據(jù)寫入?yún)?shù)，將所述數(shù)據(jù)文件中的數(shù)據(jù)寫入所述數(shù)據(jù)庫(kù)；

所述確定模塊在根據(jù)所述核心線程數(shù)、所述數(shù)據(jù)文件的數(shù)據(jù)量和所述數(shù)據(jù)庫(kù)最大限制值，確定所述批量提交條數(shù)時(shí)，用于：

判斷所述數(shù)據(jù)文件的數(shù)據(jù)量與所述核心線程數(shù)的比值和所述數(shù)據(jù)庫(kù)最大限制值之間的最小值；

若數(shù)據(jù)庫(kù)最大限制值最小，則將數(shù)據(jù)庫(kù)最大限制值作為批量提交條數(shù)；若數(shù)據(jù)文件的數(shù)據(jù)量與核心線程數(shù)的比值最小，則將數(shù)據(jù)文件的數(shù)據(jù)量與核心線程數(shù)的比值作為批量提交條數(shù)；

其中，在所述運(yùn)行線程數(shù)大于所述等待線程數(shù)的情況下，所述核心線程數(shù)的計(jì)算公式如下：

Y=A/（1-k）+（B-C）/2；

在所述運(yùn)行線程數(shù)小于等于所述等待線程數(shù)的情況下，所述核心線程數(shù)的計(jì)算公式如下：

Y=A/（1-k）-（C-B）/2；

其中，A為所述CPU內(nèi)核數(shù)量，k為阻塞系數(shù)，B為所述運(yùn)行線程數(shù)，C為所述等待線程數(shù)，Y為核心線程數(shù)；

所述裝置，還用于：

通過(guò)主線程逐行讀取數(shù)據(jù)文件并解析所述數(shù)據(jù)文件為SQL語(yǔ)句，并創(chuàng)建線程池管理插入數(shù)據(jù)庫(kù)線程的操作；設(shè)置行數(shù)閾值，當(dāng)讀取到所述行數(shù)閾值的行數(shù)時(shí)，把所述行數(shù)的數(shù)據(jù)添加到一個(gè)寫文件子線程去做插入到所述數(shù)據(jù)庫(kù)的處理；所述寫文件子線程把拿到的數(shù)據(jù)做遍歷，然后根據(jù)所述批量提交條數(shù)，遍歷到所述批量提交條數(shù)做一個(gè)事務(wù)的批處理提交。