[發(fā)明專(zhuān)利]一種數(shù)據(jù)一致性檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010042892.7
• 申請(qǐng)日: 2020-01-15
• 公開(kāi)（公告）號(hào): CN111259027B
• 公開(kāi)（公告）日: 2023-01-17
• 發(fā)明（設(shè)計(jì)）人: 李培軍;許舒人;魏克剛;田申;羅劍剛;顏復(fù)海
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院軟件研究所
• 主分類(lèi)號(hào): G06F16/23
• 分類(lèi)號(hào): G06F16/23;G06F16/215;G06F16/27
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200
• 代理人: 司立彬

本發(fā)明公開(kāi)了一種數(shù)據(jù)一致性檢測(cè)方法，其步驟包括：1)根據(jù)分布式數(shù)據(jù)庫(kù)或者不同數(shù)據(jù)源之間數(shù)據(jù)的關(guān)聯(lián)關(guān)系和一致性約束條件，構(gòu)建數(shù)據(jù)關(guān)系模型圖；構(gòu)建所述數(shù)據(jù)關(guān)系模型圖的方法為：首先對(duì)待檢測(cè)數(shù)據(jù)從業(yè)務(wù)和數(shù)據(jù)交互角度抽象出一系列的數(shù)據(jù)實(shí)體節(jié)點(diǎn)，并為每一個(gè)數(shù)據(jù)實(shí)體節(jié)點(diǎn)指定一個(gè)分類(lèi)標(biāo)簽；然后根據(jù)各數(shù)據(jù)實(shí)體節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系，構(gòu)建數(shù)據(jù)實(shí)體節(jié)點(diǎn)之間的數(shù)據(jù)實(shí)體鏈接關(guān)系；數(shù)據(jù)實(shí)體節(jié)點(diǎn)上設(shè)置用于數(shù)據(jù)實(shí)體節(jié)點(diǎn)一致性檢測(cè)的規(guī)則，數(shù)據(jù)實(shí)體鏈接關(guān)系上設(shè)置用于兩個(gè)數(shù)據(jù)實(shí)體節(jié)點(diǎn)之間鏈接一致性檢測(cè)的鏈接規(guī)則；2)基于數(shù)據(jù)關(guān)系模型圖對(duì)交換數(shù)據(jù)進(jìn)行一致性檢測(cè)。本發(fā)明能夠準(zhǔn)確發(fā)現(xiàn)和定位數(shù)據(jù)之間的一致性問(wèn)題，有效提升數(shù)據(jù)質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)一致性檢測(cè)方法，用于分布式數(shù)據(jù)庫(kù)和分布式數(shù)據(jù)交換過(guò)程中的數(shù)據(jù)一致性檢測(cè)，能有效提升數(shù)據(jù)質(zhì)量，屬于計(jì)算機(jī)應(yīng)用領(lǐng)域。

背景技術(shù)

數(shù)據(jù)質(zhì)量一直是數(shù)據(jù)處理的關(guān)鍵之一，在數(shù)據(jù)分析過(guò)程中數(shù)據(jù)的預(yù)處理和質(zhì)量保證工作會(huì)占用較大比例的工作量，因?yàn)閿?shù)據(jù)質(zhì)量直接影響到后續(xù)數(shù)據(jù)分析的效果。傳統(tǒng)的數(shù)據(jù)庫(kù)設(shè)計(jì)遵循三大范式對(duì)數(shù)據(jù)質(zhì)量和數(shù)據(jù)之間的關(guān)聯(lián)有較強(qiáng)的約束，但隨著數(shù)據(jù)量的增加，為了提升數(shù)據(jù)處理效率增加了冗余性，而有些時(shí)候?yàn)榱藴p少外鍵約束對(duì)查詢性能的影響逐漸放開(kāi)強(qiáng)制的外鍵約束關(guān)系，這些情況都會(huì)導(dǎo)致數(shù)據(jù)不一致情況的增加。而隨著分布式數(shù)據(jù)庫(kù)、分布式數(shù)據(jù)倉(cāng)庫(kù)和大數(shù)據(jù)等技術(shù)的發(fā)展，分布式系統(tǒng)之間數(shù)據(jù)交換工作量大大增加，大量的數(shù)據(jù)交換、數(shù)據(jù)清洗和預(yù)處理等操作都會(huì)導(dǎo)致數(shù)據(jù)質(zhì)量問(wèn)題的增多。NoSQL非關(guān)系型數(shù)據(jù)庫(kù)和列存儲(chǔ)數(shù)據(jù)庫(kù)在提升相應(yīng)性能的同時(shí)也減弱了數(shù)據(jù)之間的關(guān)聯(lián)和約束。所以，這些數(shù)據(jù)操作都很容易導(dǎo)致數(shù)據(jù)質(zhì)量問(wèn)題的出現(xiàn)，尤其是數(shù)據(jù)之間的關(guān)聯(lián)性和一致性問(wèn)題很容易出現(xiàn)又很難發(fā)現(xiàn)。

現(xiàn)有對(duì)數(shù)據(jù)質(zhì)量問(wèn)題的研究主要集中在對(duì)表字段的檢查和處理方面，多采用基于規(guī)則和正則表達(dá)式的方式檢查字段是否符合規(guī)定的要求，對(duì)存在的質(zhì)量問(wèn)題研究相應(yīng)的修正方法。對(duì)數(shù)據(jù)庫(kù)表和字段之間關(guān)聯(lián)性方面主要依靠外鍵關(guān)系進(jìn)行檢查。但是，現(xiàn)有的方法對(duì)數(shù)據(jù)之間關(guān)聯(lián)關(guān)系的分析和檢測(cè)還是不夠，主要表現(xiàn)在二個(gè)方面，一是如果僅僅采用基于外鍵關(guān)聯(lián)關(guān)系進(jìn)行檢測(cè)很可能不夠全面，因?yàn)楝F(xiàn)在很多數(shù)據(jù)庫(kù)設(shè)計(jì)為了提升性能而減少了對(duì)數(shù)據(jù)關(guān)聯(lián)關(guān)系的強(qiáng)制約束，采用隱性關(guān)聯(lián)關(guān)系，從數(shù)據(jù)庫(kù)本身很難發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)性。第二，數(shù)據(jù)之間一般存在多個(gè)級(jí)別關(guān)聯(lián)關(guān)系，表之間的關(guān)聯(lián)一般涉及多個(gè)表多個(gè)層次的關(guān)聯(lián)，并且數(shù)據(jù)之間關(guān)聯(lián)是有方向和依賴關(guān)系的，數(shù)據(jù)的寫(xiě)入是存在先后關(guān)系的，數(shù)據(jù)之間關(guān)聯(lián)關(guān)系的檢查需要考慮隱性關(guān)聯(lián)和依賴性逐級(jí)深入進(jìn)行，所以需要一種能夠完整描述數(shù)據(jù)之間全局關(guān)聯(lián)關(guān)系的檢測(cè)方法來(lái)實(shí)現(xiàn)數(shù)據(jù)之間的一致性檢測(cè)。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的技術(shù)問(wèn)題，本發(fā)明的目的在于提供一種數(shù)據(jù)一致性的檢測(cè)方法，用于分布式數(shù)據(jù)存儲(chǔ)和分布式數(shù)據(jù)交換過(guò)程中數(shù)據(jù)的一致性檢測(cè)，通過(guò)本方法能夠?qū)崿F(xiàn)數(shù)據(jù)之間關(guān)聯(lián)關(guān)系和一致性的準(zhǔn)確描述和定義，以及數(shù)據(jù)鏈接完整性、數(shù)據(jù)依賴性和批量數(shù)據(jù)一致性的檢測(cè)，從而能夠準(zhǔn)確發(fā)現(xiàn)和定位數(shù)據(jù)之間的一致性問(wèn)題，有效提升數(shù)據(jù)質(zhì)量。

本發(fā)明的技術(shù)方案為：

一種數(shù)據(jù)一致性檢測(cè)方法，其步驟包括：

1)根據(jù)分布式數(shù)據(jù)庫(kù)或者不同數(shù)據(jù)源之間數(shù)據(jù)的關(guān)聯(lián)關(guān)系和一致性約束條件，構(gòu)建用于一致性檢測(cè)的數(shù)據(jù)關(guān)系模型圖；其中，所述數(shù)據(jù)關(guān)系模型圖包括數(shù)據(jù)實(shí)體節(jié)點(diǎn)DataEntityNode、分類(lèi)標(biāo)簽ClassifyLabel、節(jié)點(diǎn)一致性檢測(cè)規(guī)則DetectionRule和數(shù)據(jù)實(shí)體鏈接關(guān)系Relationship；構(gòu)建所述數(shù)據(jù)關(guān)系模型圖的方法為：首先對(duì)待檢測(cè)數(shù)據(jù)從業(yè)務(wù)和數(shù)據(jù)交互角度抽象出一系列的數(shù)據(jù)實(shí)體節(jié)點(diǎn)DataEntityNode，并為每一個(gè)數(shù)據(jù)實(shí)體節(jié)點(diǎn)指定一個(gè)分類(lèi)標(biāo)簽ClassifyLabel；然后根據(jù)各數(shù)據(jù)實(shí)體節(jié)點(diǎn)之間的關(guān)聯(lián)關(guān)系或依賴關(guān)系，構(gòu)建數(shù)據(jù)實(shí)體節(jié)點(diǎn)之間的數(shù)據(jù)實(shí)體鏈接關(guān)系Relationship；所述數(shù)據(jù)實(shí)體節(jié)點(diǎn)DataEntityNode上設(shè)置用于數(shù)據(jù)實(shí)體節(jié)點(diǎn)一致性檢測(cè)的規(guī)則DetectionRule，所述數(shù)據(jù)實(shí)體鏈接關(guān)系Relationship上設(shè)置用于兩個(gè)數(shù)據(jù)實(shí)體節(jié)點(diǎn)之間鏈接一致性檢測(cè)的鏈接規(guī)則RelationRule；