[發(fā)明專利]數(shù)據(jù)導(dǎo)入校驗方法、系統(tǒng)、裝置及計算機(jī)可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111288460.5
• 申請日: 2021-11-02
• 公開（公告）號: CN114116691A
• 公開（公告）日: 2022-03-01
• 發(fā)明（設(shè)計）人: 倪祥路
• 申請（專利權(quán)）人: 浪潮軟件股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/25
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 潘悅梅

本發(fā)明公開了數(shù)據(jù)導(dǎo)入校驗方法、系統(tǒng)、裝置及計算機(jī)可讀介質(zhì)，屬于數(shù)據(jù)入庫技術(shù)領(lǐng)域，要解決的技術(shù)問題為如何實現(xiàn)數(shù)據(jù)導(dǎo)入的完整性校驗，并提升數(shù)據(jù)的可靠性和系統(tǒng)可用性。S100、配置基本約束和關(guān)聯(lián)約束；S200、基于基本約束和管理約束構(gòu)建數(shù)據(jù)校驗?zāi)Ｐ停贓s搜索引擎中建立與數(shù)據(jù)校驗?zāi)Ｐ蛯?yīng)的物理索引，并同步生成與對應(yīng)的excel模板文件；S300、將符合約束的excel數(shù)據(jù)保存至Es搜索引擎，將不符合約束的excel數(shù)據(jù)作為失敗數(shù)據(jù)保存并提示檢測失敗原因；S400、將保存于Es搜索引擎中的excle數(shù)據(jù)插入數(shù)據(jù)庫，將失敗數(shù)據(jù)進(jìn)行excel導(dǎo)出并進(jìn)行修正，對修正后識失敗數(shù)據(jù)執(zhí)行步驟S300?S400。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)入庫技術(shù)領(lǐng)域，具體地說是數(shù)據(jù)導(dǎo)入校驗方法、系統(tǒng)、裝置及計算機(jī)可讀介質(zhì)。

背景技術(shù)

在政務(wù)服務(wù)產(chǎn)品領(lǐng)域，存在很多需要將歷史數(shù)據(jù)或者無法對接的系統(tǒng)數(shù)據(jù)進(jìn)行數(shù)據(jù)導(dǎo)入的場景，但是每個業(yè)務(wù)系統(tǒng)都有自己的業(yè)務(wù)規(guī)則，這就導(dǎo)致導(dǎo)入的數(shù)據(jù)存在一定的約束要求，不然導(dǎo)入到數(shù)據(jù)庫也是存在數(shù)據(jù)不合格的情況。

針對上述出現(xiàn)的情況，并考慮到業(yè)務(wù)場景的數(shù)據(jù)關(guān)聯(lián)性強(qiáng)，格式嚴(yán)格，數(shù)據(jù)量龐大等要求，在數(shù)據(jù)導(dǎo)入的時候采用合適的模型進(jìn)行數(shù)據(jù)檢驗是必然的，并且針對導(dǎo)入數(shù)據(jù)量大的情況需要做到適配。

數(shù)據(jù)庫的完整性是指數(shù)據(jù)的正確性和相容性，數(shù)據(jù)的完整性控制是為了防止數(shù)據(jù)庫中存在不符合語義的數(shù)據(jù)，也就是防止出現(xiàn)不正確的數(shù)據(jù)。目前在數(shù)據(jù)庫進(jìn)行數(shù)據(jù)檢驗時，解決數(shù)據(jù)完整性的約束機(jī)制主要有三種方法，前端應(yīng)用控制、數(shù)據(jù)庫觸發(fā)器和聲明約束。

應(yīng)用控制指的是在開發(fā)者應(yīng)用中對輸入的數(shù)據(jù)進(jìn)行數(shù)據(jù)格式校驗，包括數(shù)據(jù)的類型和內(nèi)容，在插入時通過程序?qū)?shù)據(jù)的每個字段進(jìn)行校驗避免臟數(shù)據(jù)的插入。數(shù)據(jù)庫觸發(fā)器指的是通過定義觸發(fā)條件和編寫觸發(fā)后執(zhí)行語句，來實現(xiàn)對數(shù)據(jù)表操作的各種約束，可以引用其它表的字段。觸發(fā)器可以引用其他表，可以包含復(fù)雜的SQL語句。當(dāng)對一個表進(jìn)行修改時，通過觸發(fā)器按照相關(guān)業(yè)務(wù)規(guī)則去修改其他的表，一旦發(fā)現(xiàn)修改過程中出現(xiàn)違背業(yè)務(wù)規(guī)則的情況，可以通過回滾語句，將數(shù)據(jù)恢復(fù)到修改前的狀態(tài)。聲明約束主要包含三個方面，實體完整性校驗即數(shù)據(jù)主鍵不為空且唯一，參照性完整性即表之間關(guān)聯(lián)主外鍵的校驗，用戶自定義完整性即聲明列數(shù)據(jù)需滿足語義要求(如數(shù)值滿足某范圍或者非空)。

在數(shù)據(jù)庫中設(shè)置較多的約束會在一定程度上影響數(shù)據(jù)庫的性能，真實環(huán)境很少應(yīng)用，更多是放到程序邏輯中去進(jìn)行處理，有可能在面對業(yè)務(wù)變更或是系統(tǒng)擴(kuò)展時，數(shù)據(jù)庫約束會使得處理不夠方便。

基于上述分析，結(jié)合政務(wù)服務(wù)系統(tǒng)應(yīng)用場景，如何實現(xiàn)數(shù)據(jù)導(dǎo)入的完整性校驗，并提升數(shù)據(jù)的可靠性和系統(tǒng)可用性，是需要解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明的技術(shù)任務(wù)是針對以上不足，提供數(shù)據(jù)導(dǎo)入校驗方法、系統(tǒng)、裝置及計算機(jī)可讀介質(zhì)，來解決如何實現(xiàn)數(shù)據(jù)導(dǎo)入的完整性校驗，并提升數(shù)據(jù)的可靠性和系統(tǒng)可用性的技術(shù)問題。

第一方面，本發(fā)明的數(shù)據(jù)導(dǎo)入校驗方法，包括如下步驟：

S100、配置基本約束和關(guān)聯(lián)約束，所述基本約束用于對單表中字段進(jìn)行約束，所述關(guān)聯(lián)約束與Es搜索引擎配合，用于基于關(guān)聯(lián)表之間的表結(jié)構(gòu)關(guān)系確定所述關(guān)聯(lián)表在Es搜索引擎中的索引關(guān)系，并根據(jù)索引關(guān)系將表數(shù)據(jù)依序?qū)隕s搜索引擎中；

S200、基于基本約束和管理約束構(gòu)建數(shù)據(jù)校驗?zāi)Ｐ停贓s搜索引擎中建立與所述數(shù)據(jù)校驗?zāi)Ｐ蛯?yīng)的物理索引，并同步生成與所述數(shù)據(jù)校驗?zāi)Ｐ蛯?yīng)的excel模板文件，所述數(shù)據(jù)校驗?zāi)Ｐ湍軌驅(qū)С鰁xcel文件并能夠?qū)xcel文件保存導(dǎo)入使用，所述excel模板文件用于填寫數(shù)據(jù)并導(dǎo)入對應(yīng)的數(shù)據(jù)校驗?zāi)Ｐ停?/p>

S300、將數(shù)據(jù)填寫至excel模板文件，得到待檢驗excel文件，并將待檢驗excel文件導(dǎo)入對應(yīng)的數(shù)據(jù)校驗?zāi)Ｐ瓦M(jìn)行基本約束和關(guān)聯(lián)約束，將待檢驗excel文件中符合約束的excel數(shù)據(jù)保存至Es搜索引擎，將待檢驗excel文件中不符合約束的excel數(shù)據(jù)作為失敗數(shù)據(jù)保存并提示檢測失敗原因；