[發(fā)明專利]一種數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010921628.0
• 申請(qǐng)日: 2020-09-04
• 公開（公告）號(hào): CN112115208A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 羅常職;羅洪昌;童翔宇;朱家成
• 申請(qǐng)（專利權(quán)）人: 杭州日思夜享數(shù)據(jù)科技有限公司
• 主分類號(hào): G06F16/28
• 分類號(hào): G06F16/28;G06F16/22;G06F16/23;G06F16/242;G06F16/25
• 代理公司: 浙江正麥律師事務(wù)所 33399
• 代理人: 黃菊

本發(fā)明公開一種數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入方法，包括以下步驟,步驟S1，上傳包括手機(jī)號(hào)碼數(shù)據(jù)的資料文件，讀取所述資料文件列的第一行做為表頭信息，根據(jù)數(shù)據(jù)庫(kù)中提供的數(shù)據(jù)存儲(chǔ)列，將所述表頭信息與所述數(shù)據(jù)存儲(chǔ)列進(jìn)行匹配字段；步驟S2，對(duì)匹配字段后得到的若干數(shù)據(jù)提出批量導(dǎo)入數(shù)據(jù)請(qǐng)求，對(duì)所述批量導(dǎo)入數(shù)據(jù)請(qǐng)求執(zhí)行組裝成一個(gè)SQL語(yǔ)句進(jìn)行合并處理，對(duì)執(zhí)行合并處理的所述批量導(dǎo)入數(shù)據(jù)請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)進(jìn)行導(dǎo)入處理；步驟S3，執(zhí)行所述導(dǎo)入處理，判斷所述數(shù)據(jù)庫(kù)數(shù)據(jù)是否已經(jīng)存在所述批量導(dǎo)入數(shù)據(jù)請(qǐng)求包括的手機(jī)號(hào)碼，若數(shù)據(jù)庫(kù)中已經(jīng)存在，則更新所述數(shù)據(jù)庫(kù)相應(yīng)的數(shù)據(jù)，若不存在，則所述數(shù)據(jù)庫(kù)生成并添加所述批量導(dǎo)入數(shù)據(jù)請(qǐng)求包括的相應(yīng)數(shù)據(jù)。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，具體是一種數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入方法。

背景技術(shù)

隨著市場(chǎng)競(jìng)爭(zhēng)的日趨激烈，各個(gè)企業(yè)的客戶信息越發(fā)重要。伴隨信息技術(shù)在企業(yè)的廣泛應(yīng)用，企業(yè)一般會(huì)積累大量的客戶信息數(shù)據(jù)，如何及時(shí)更新這些數(shù)據(jù)，以便作出正確的決策，對(duì)企業(yè)來說，有著十分重要的意義。

數(shù)據(jù)倉(cāng)庫(kù)是為了支持企業(yè)決策而出現(xiàn)的一項(xiàng)技術(shù)，其目的是將企業(yè)范圍內(nèi)的所有數(shù)據(jù)集成在一個(gè)大倉(cāng)庫(kù)中，便于用戶查詢、分析，并產(chǎn)生報(bào)告等。數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)來自不同的業(yè)務(wù)數(shù)據(jù)庫(kù)，按照主題進(jìn)行數(shù)據(jù)組織。由于數(shù)據(jù)倉(cāng)庫(kù)可以將大量的歷史性數(shù)據(jù)進(jìn)行合理的組織，使得數(shù)據(jù)庫(kù)系統(tǒng)能夠更加方便地利用數(shù)據(jù)、分析數(shù)據(jù)，在分析的基礎(chǔ)上建立模型，對(duì)結(jié)構(gòu)化和半結(jié)構(gòu)化的決策問題給出結(jié)果，因而，數(shù)據(jù)倉(cāng)庫(kù)技術(shù)正成為企業(yè)信息集成和輔助決策應(yīng)用的關(guān)鍵技術(shù)之一。

大規(guī)模數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)系統(tǒng)，大多支持用戶并發(fā)上傳數(shù)據(jù)，采用批處理的方式，將數(shù)據(jù)持久化到數(shù)據(jù)倉(cāng)庫(kù)的存儲(chǔ)數(shù)據(jù)庫(kù)系統(tǒng)和元數(shù)據(jù)數(shù)據(jù)庫(kù)系統(tǒng)。一般情況下，客戶信息數(shù)據(jù)從產(chǎn)生到導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)，存在集中性、實(shí)時(shí)等特點(diǎn)，短時(shí)間大量數(shù)據(jù)會(huì)被導(dǎo)入到同一元數(shù)據(jù)對(duì)象中。而在數(shù)據(jù)的提交階段，對(duì)元數(shù)據(jù)的更新，有一定的延遲和并發(fā)限制，導(dǎo)致數(shù)據(jù)導(dǎo)入的并發(fā)度和成功率受到影響。可以看出，現(xiàn)有數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)導(dǎo)入數(shù)據(jù)庫(kù)系統(tǒng)中的批處理操作存在較大時(shí)延性，以及依賴元數(shù)據(jù)數(shù)據(jù)庫(kù)系統(tǒng)的高并發(fā)支持等問題。

而且，目前，針對(duì)市場(chǎng)上大量客戶信息導(dǎo)入到數(shù)據(jù)庫(kù)的過程，出現(xiàn)客戶導(dǎo)入過程速度緩慢；導(dǎo)入文件格式單一，一般只支持CSV格式導(dǎo)入。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入方法，以解決現(xiàn)有技術(shù)中的問題。

為實(shí)現(xiàn)上述的目的，本發(fā)明提供如下技術(shù)方案：

一種數(shù)據(jù)庫(kù)數(shù)據(jù)導(dǎo)入方法，

包括以下步驟：

步驟S1，上傳包括手機(jī)號(hào)碼數(shù)據(jù)的資料文件，讀取所述資料文件列的第一行做為表頭信息，根據(jù)數(shù)據(jù)庫(kù)中提供的數(shù)據(jù)存儲(chǔ)列，將所述表頭信息與所述數(shù)據(jù)存儲(chǔ)列進(jìn)行匹配字段；

步驟S2，對(duì)匹配字段后得到的若干數(shù)據(jù)提出批量導(dǎo)入數(shù)據(jù)請(qǐng)求，對(duì)所述批量導(dǎo)入數(shù)據(jù)請(qǐng)求執(zhí)行組裝成一個(gè)SQL語(yǔ)句進(jìn)行合并處理，對(duì)執(zhí)行合并處理的所述批量導(dǎo)入數(shù)據(jù)請(qǐng)求對(duì)應(yīng)的數(shù)據(jù)進(jìn)行導(dǎo)入處理；

步驟S3，執(zhí)行所述導(dǎo)入處理，判斷所述數(shù)據(jù)庫(kù)數(shù)據(jù)是否已經(jīng)存在所述導(dǎo)入數(shù)據(jù)請(qǐng)求包括的手機(jī)號(hào)碼，若數(shù)據(jù)庫(kù)中已經(jīng)存在，則更新所述數(shù)據(jù)庫(kù)相應(yīng)的數(shù)據(jù)，若不存在，則所述數(shù)據(jù)庫(kù)生成并添加所述批量導(dǎo)入數(shù)據(jù)請(qǐng)求包括的相應(yīng)數(shù)據(jù)。

進(jìn)一步，對(duì)所述批量導(dǎo)入數(shù)據(jù)請(qǐng)求進(jìn)行所述導(dǎo)入處理時(shí)，判斷所述批量導(dǎo)入數(shù)據(jù)包括的手機(jī)號(hào)碼在所述數(shù)據(jù)庫(kù)中是否存在，若存在則所述數(shù)據(jù)庫(kù)相應(yīng)的數(shù)據(jù)執(zhí)行批量更新操作，若不存在則所述數(shù)據(jù)庫(kù)執(zhí)行批量生成數(shù)據(jù)并添加操作。

優(yōu)選的，對(duì)讀取的所述資料文件的數(shù)據(jù)，設(shè)置每次批量讀取所述資料文件的行數(shù)，計(jì)算出總頁(yè)數(shù)，

從所述資料文件的第一頁(yè)開始循環(huán)讀取相應(yīng)頁(yè)數(shù)的數(shù)據(jù)，循環(huán)數(shù)增加一次，相應(yīng)頁(yè)數(shù)增加一頁(yè)，直至循環(huán)數(shù)等于所述總頁(yè)數(shù)。