[發(fā)明專利]一種應(yīng)用于搜索服務(wù)的全量同步方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910343332.2
• 申請(qǐng)日: 2019-04-26
• 公開（公告）號(hào): CN110263028B
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計(jì)）人: 陳海龍;王建新
• 申請(qǐng)（專利權(quán)）人: 石化盈科信息技術(shù)有限責(zé)任公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/242;G06F16/27
• 代理公司: 北京聿宏知識(shí)產(chǎn)權(quán)代理有限公司 11372
• 代理人: 吳大建;張杰

1.一種應(yīng)用于搜索服務(wù)的全量同步方法，其特征在于，包括：

獲取需要進(jìn)行全量同步操作的搜索引擎索引名稱；

根據(jù)所述搜索引擎索引名稱，查詢與所述搜索引擎索引名稱對(duì)應(yīng)的索引配置信息和數(shù)據(jù)源配置信息，其中，與所述搜索引擎索引名稱對(duì)應(yīng)的索引配置信息包括：利用所述搜索引擎索引名稱配置的多個(gè)表的數(shù)目、所述多個(gè)表中的每個(gè)表的名稱、所述多個(gè)表中的每兩個(gè)表之間的關(guān)聯(lián)關(guān)系和關(guān)聯(lián)鍵、所述多個(gè)表中的每個(gè)表配置的字段、以及與所述多個(gè)表中的每個(gè)表對(duì)應(yīng)的數(shù)據(jù)源配置名稱；

通過JDBC與數(shù)據(jù)庫進(jìn)行連接，并查詢所述多個(gè)表中的每個(gè)表在數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)條數(shù)；

根據(jù)所述多個(gè)表中的每兩個(gè)表之間的關(guān)聯(lián)關(guān)系和關(guān)聯(lián)鍵，為所述多個(gè)表創(chuàng)建表樹形結(jié)構(gòu)，其中，所述表樹形結(jié)構(gòu)包括多個(gè)層級(jí)，第一層級(jí)上具有一個(gè)表，除第一層級(jí)之外的其他層級(jí)上具有至少一個(gè)表；

針對(duì)所述表樹形結(jié)構(gòu)的每個(gè)層級(jí)，從最低層級(jí)開始到第二層級(jí)為止，依次執(zhí)行以下操作：

利用預(yù)設(shè)規(guī)則，依次將與各層級(jí)上的表及其上游表對(duì)應(yīng)的索引配置信息和數(shù)據(jù)源配置信息、該上游表的名稱、以及所述表樹形結(jié)構(gòu)中的所有表之間的關(guān)聯(lián)關(guān)系存儲(chǔ)到堆棧中；

按照存儲(chǔ)順序，依次從堆棧中取出與各層級(jí)上的表及其上游表對(duì)應(yīng)的索引配置信息和數(shù)據(jù)源配置信息，并對(duì)各層級(jí)上的表及其上游表在數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)進(jìn)行處理，形成各層級(jí)上的表與各層級(jí)上的表的上游表的關(guān)聯(lián)表，其中，所述關(guān)聯(lián)表包括：各層級(jí)上的表的上游表配置的所有字段，以及分別對(duì)各層級(jí)上的各表配置的所有字段進(jìn)行格式轉(zhuǎn)換后形成的JSON格式的數(shù)據(jù)；

將通過上述操作形成的第一層級(jí)上的表與第二層級(jí)上的表的關(guān)聯(lián)表中的數(shù)據(jù)轉(zhuǎn)換為JSON格式的數(shù)據(jù)，并調(diào)用搜索引擎的接口將所述JSON格式的數(shù)據(jù)寫入到搜索引擎中，從而實(shí)現(xiàn)了從數(shù)據(jù)庫到搜索引擎的全量同步。

2.根據(jù)權(quán)利要求1所述的應(yīng)用于搜索服務(wù)的全量同步方法，其特征在于，根據(jù)所述搜索引擎索引名稱，查詢與所述搜索引擎索引名稱對(duì)應(yīng)的索引配置信息和數(shù)據(jù)源配置信息，包括：

根據(jù)所述搜索引擎索引名稱，查詢與所述搜索引擎索引名稱對(duì)應(yīng)的索引配置信息；

根據(jù)與所述搜索引擎索引名稱對(duì)應(yīng)的索引配置信息，查詢與所述多個(gè)表中的每個(gè)表對(duì)應(yīng)的數(shù)據(jù)源配置信息。

3.根據(jù)權(quán)利要求2所述的應(yīng)用于搜索服務(wù)的全量同步方法，其特征在于，根據(jù)所述搜索引擎索引名稱，查詢與所述搜索引擎索引名稱對(duì)應(yīng)的索引配置信息，包括：

根據(jù)所述搜索引擎索引名稱，通過調(diào)用搜索引擎的配置庫的查詢接口，從所述配置庫的索引配置表中查詢與所述搜索引擎索引名稱對(duì)應(yīng)的索引配置信息。

4.根據(jù)權(quán)利要求2所述的應(yīng)用于搜索服務(wù)的全量同步方法，其特征在于，根據(jù)與所述搜索引擎索引名稱對(duì)應(yīng)的索引配置信息，查詢與所述多個(gè)表中的每個(gè)表對(duì)應(yīng)的數(shù)據(jù)源配置信息，包括：

根據(jù)與所述多個(gè)表中的每個(gè)表對(duì)應(yīng)的數(shù)據(jù)源配置名稱，通過調(diào)用搜索引擎的配置庫的查詢接口，從所述配置庫的數(shù)據(jù)源配置表中查詢與所述多個(gè)表中的每個(gè)表對(duì)應(yīng)的數(shù)據(jù)源配置信息。

5.根據(jù)權(quán)利要求4所述的應(yīng)用于搜索服務(wù)的全量同步方法，其特征在于，與所述多個(gè)表中的每個(gè)表對(duì)應(yīng)的數(shù)據(jù)源配置信息包括：與所述多個(gè)表中的每個(gè)表對(duì)應(yīng)的數(shù)據(jù)源所屬的數(shù)據(jù)庫的類型、地址、端口、庫名、用戶名、以及密碼。

6.根據(jù)權(quán)利要求5所述的應(yīng)用于搜索服務(wù)的全量同步方法，其特征在于，與所述多個(gè)表中的每個(gè)表對(duì)應(yīng)的數(shù)據(jù)源所屬的數(shù)據(jù)庫的類型包括：SQL Server數(shù)據(jù)庫、MYSQL數(shù)據(jù)庫和ORACLE數(shù)據(jù)庫。

7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的應(yīng)用于搜索服務(wù)的全量同步方法，其特征在于，在查詢所述多個(gè)表中的每個(gè)表在數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)條數(shù)之后，且在根據(jù)所述多個(gè)表中的每兩個(gè)表之間的關(guān)聯(lián)關(guān)系和關(guān)聯(lián)鍵，為所述多個(gè)表創(chuàng)建表樹形結(jié)構(gòu)之前，還包括：

判斷所述多個(gè)表中的每個(gè)表在數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)條數(shù)是否為0；

若該表在數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)條數(shù)為0，則從與所述搜索引擎索引名稱對(duì)應(yīng)的索引配置信息中去除該表。