[發(fā)明專利]一種應(yīng)用于搜索服務(wù)的增量同步方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910343582.6
• 申請(qǐng)日: 2019-04-26
• 公開(kāi)（公告）號(hào): CN110245134B
• 公開(kāi)（公告）日: 2021-07-06
• 發(fā)明（設(shè)計(jì)）人: 陳海龍;王建新
• 申請(qǐng)（專利權(quán)）人: 石化盈科信息技術(shù)有限責(zé)任公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/23;G06F16/2455;G06F16/951;G06F16/953
• 代理公司: 北京聿宏知識(shí)產(chǎn)權(quán)代理有限公司 11372
• 代理人: 吳大建;張杰

本發(fā)明公開(kāi)了一種應(yīng)用于搜索服務(wù)的增量同步方法。該方法能夠?qū)?yīng)用系統(tǒng)中的海量不同數(shù)據(jù)源類型、不同中心庫(kù)下的多表關(guān)聯(lián)的實(shí)時(shí)變化的復(fù)雜業(yè)務(wù)數(shù)據(jù)以高效的速度增量同步至搜索引擎，具有很好的應(yīng)用前景。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)軟件技術(shù)領(lǐng)域，尤其涉及一種應(yīng)用于搜索服務(wù)的增量同步方法。

背景技術(shù)

隨著信息技術(shù)的迅速發(fā)展，各應(yīng)用系統(tǒng)的數(shù)據(jù)量與日俱增。在一些大型應(yīng)用系統(tǒng)中，常常是大數(shù)據(jù)分布式存儲(chǔ)方式，因此，在對(duì)用戶所需的信息進(jìn)行查詢時(shí)，通常需要對(duì)不同中心庫(kù)下的不同數(shù)據(jù)庫(kù)做表關(guān)聯(lián)查詢，且檢索及篩選條件比較復(fù)雜，從而導(dǎo)致數(shù)據(jù)庫(kù)查詢性能較差、響應(yīng)超時(shí)等問(wèn)題。因此，如何從海量數(shù)據(jù)中對(duì)用戶所需的信息進(jìn)行快速查詢和分詞檢索，是各應(yīng)用系統(tǒng)在建設(shè)過(guò)程中迫切需要解決的問(wèn)題。搜索引擎技術(shù)由于可以進(jìn)行數(shù)據(jù)的實(shí)時(shí)查詢和分詞檢索，無(wú)疑成為解決上述問(wèn)題的優(yōu)選方案。但是，現(xiàn)有的數(shù)據(jù)傳輸服務(wù)只能實(shí)現(xiàn)對(duì)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)中的單表數(shù)據(jù)的變更進(jìn)行實(shí)時(shí)監(jiān)控并同步至搜索引擎的索引中，不能實(shí)現(xiàn)對(duì)多表關(guān)聯(lián)的復(fù)雜索引結(jié)構(gòu)進(jìn)行數(shù)據(jù)的實(shí)時(shí)變更傳輸。

現(xiàn)有的數(shù)據(jù)傳輸服務(wù)只能實(shí)現(xiàn)對(duì)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)中的單表數(shù)據(jù)的變更進(jìn)行實(shí)時(shí)監(jiān)控并同步至搜索引擎的索引中，并不能實(shí)現(xiàn)對(duì)多表關(guān)聯(lián)的復(fù)雜索引結(jié)構(gòu)進(jìn)行數(shù)據(jù)的實(shí)時(shí)變更傳輸，具體說(shuō)明如下：

單表數(shù)據(jù)變更增量傳輸，是指通過(guò)數(shù)據(jù)傳輸服務(wù)監(jiān)控?cái)?shù)據(jù)庫(kù)中的各個(gè)表的數(shù)據(jù)的變化，當(dāng)數(shù)據(jù)庫(kù)中的某個(gè)表的數(shù)據(jù)發(fā)生增刪改操作時(shí)，數(shù)據(jù)傳輸服務(wù)能夠馬上獲取到該條變更數(shù)據(jù)，并將該條變更數(shù)據(jù)同步寫(xiě)入到搜索引擎的對(duì)應(yīng)索引中。例如，數(shù)據(jù)庫(kù)中有一個(gè)訂單表，與該訂單表對(duì)應(yīng)的搜索引擎的索引為訂單索引。當(dāng)訂單表中新增一條訂單數(shù)據(jù)時(shí)，數(shù)據(jù)傳輸服務(wù)能夠馬上監(jiān)控到訂單表中該條新增的訂單數(shù)據(jù)，并將該條新增的訂單數(shù)據(jù)寫(xiě)入到搜索引擎的訂單索引中，以使數(shù)據(jù)庫(kù)中的數(shù)據(jù)與搜索引擎中的數(shù)據(jù)保持一致。但是，為滿足業(yè)務(wù)需求，一個(gè)索引的配置結(jié)構(gòu)通常由跨數(shù)據(jù)庫(kù)的多表進(jìn)行關(guān)聯(lián)組成。例如，用戶在將數(shù)據(jù)庫(kù)中的訂單表中的數(shù)據(jù)實(shí)時(shí)增量同步至搜索引擎的訂單索引后，便可對(duì)搜索引擎的訂單索引進(jìn)行分詞檢索，查詢訂單信息。但是，用戶在進(jìn)行訂單查詢時(shí)，通常也需要將該訂單下的商品、物流等相關(guān)信息查詢出來(lái)。由于在搜索引擎中不同索引之間不能做關(guān)聯(lián)查詢，因此，用戶在將訂單數(shù)據(jù)、該訂單下的商品數(shù)據(jù)和物流數(shù)據(jù)同步至搜索引擎前，需要對(duì)上述數(shù)據(jù)做關(guān)聯(lián)處理，即，用戶以訂單表作為主表，以商品表和物流表作為附表，通過(guò)關(guān)聯(lián)鍵將主表中的數(shù)據(jù)和附表中的數(shù)據(jù)進(jìn)行關(guān)聯(lián)，形成包含訂單、商品、物流等完善的JSON格式的數(shù)據(jù)信息，然后將該數(shù)據(jù)信息同步至搜索引擎的訂單索引中。如此，用戶在搜索引擎的訂單索引中查詢檢索訂單信息時(shí)，也會(huì)將訂單的商品、物流等信息一并查出。

由此可見(jiàn)，現(xiàn)有的數(shù)據(jù)傳輸服務(wù)只能實(shí)現(xiàn)對(duì)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)中的單表數(shù)據(jù)的變更進(jìn)行實(shí)時(shí)監(jiān)控并同步至搜索引擎的索引中，并不能實(shí)現(xiàn)對(duì)多表關(guān)聯(lián)的復(fù)雜索引結(jié)構(gòu)進(jìn)行數(shù)據(jù)的實(shí)時(shí)變更傳輸。因此，如何將應(yīng)用系統(tǒng)中的海量不同數(shù)據(jù)源類型、不同中心庫(kù)下的多表關(guān)聯(lián)的復(fù)雜業(yè)務(wù)數(shù)據(jù)以高效的速度增量同步至搜索引擎，成為業(yè)界急需解決的技術(shù)難題。

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種應(yīng)用于搜索服務(wù)的增量同步方法。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問(wèn)題是：現(xiàn)有的數(shù)據(jù)傳輸服務(wù)只能實(shí)現(xiàn)對(duì)應(yīng)用系統(tǒng)的數(shù)據(jù)庫(kù)中的單表數(shù)據(jù)的變更進(jìn)行實(shí)時(shí)監(jiān)控并同步至搜索引擎的索引中，并不能實(shí)現(xiàn)對(duì)多表關(guān)聯(lián)的復(fù)雜索引結(jié)構(gòu)進(jìn)行數(shù)據(jù)的實(shí)時(shí)變更傳輸。因此，現(xiàn)有的數(shù)據(jù)傳輸服務(wù)不能將應(yīng)用系統(tǒng)中的海量不同數(shù)據(jù)源類型、不同中心庫(kù)下的多表關(guān)聯(lián)的復(fù)雜業(yè)務(wù)數(shù)據(jù)以高效的速度增量同步至搜索引擎。

為了解決上述技術(shù)問(wèn)題，本發(fā)明提供了一種應(yīng)用于搜索服務(wù)的增量同步方法，該方法包括：

獲取數(shù)據(jù)庫(kù)中各個(gè)表的變更數(shù)據(jù)及其相關(guān)信息，其中，該變更數(shù)據(jù)的相關(guān)信息包括：與每條變更數(shù)據(jù)對(duì)應(yīng)的數(shù)據(jù)庫(kù)的名稱和該數(shù)據(jù)庫(kù)中的表的名稱、與每條變更數(shù)據(jù)對(duì)應(yīng)的變更類型、以及每條變更數(shù)據(jù)在變更前后的所有字段值和主鍵值；

分別以第一預(yù)設(shè)存儲(chǔ)方式和第二預(yù)設(shè)存儲(chǔ)方式，將數(shù)據(jù)庫(kù)中各個(gè)表的變更數(shù)據(jù)以鍵值對(duì)的方式存儲(chǔ)到緩存器中；