[發(fā)明專利]分布式索引服務(wù)引擎的數(shù)據(jù)更新方法、裝置及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201710880735.1
• 申請日: 2017-09-26
• 公開（公告）號: CN110019259B
• 公開（公告）日: 2023-09-22
• 發(fā)明（設(shè)計）人: 張濤
• 申請（專利權(quán)）人: 億陽信通股份有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27
• 代理公司: 北京卓嵐智財知識產(chǎn)權(quán)代理有限公司 11624
• 代理人: 任漱晨

1.一種用于分布式索引服務(wù)引擎的數(shù)據(jù)更新方法，其特征在于，包括：

獲取多條待更新數(shù)據(jù)；

確定與每條所述待更新數(shù)據(jù)相對應(yīng)的插入數(shù)據(jù)；

基于所述待更新數(shù)據(jù)更新所述插入數(shù)據(jù)，得到更新的插入數(shù)據(jù)；

調(diào)用所述分布式索引服務(wù)引擎的批量插入接口，通過所述批量插入接口將基于所述待更新數(shù)據(jù)得到的所述更新的插入數(shù)據(jù)批量插入分布式索引服務(wù)引擎；

其中，確定與每條所述待更新數(shù)據(jù)相對應(yīng)的插入數(shù)據(jù)包括：

獲取所述待更新數(shù)據(jù)的特征信息；

從第一緩存中查詢與所述待更新數(shù)據(jù)的特征信息相匹配的插入數(shù)據(jù)，其中，所述第一緩存中緩存有多條插入數(shù)據(jù)；并且

在獲取多條待更新數(shù)據(jù)之后，所述方法還包括：將所述多條待更新數(shù)據(jù)存儲入第二緩存；監(jiān)測所述第二緩存中待更新數(shù)據(jù)的緩存時長；若所述待更新數(shù)據(jù)的緩存時長達(dá)到預(yù)定時長，從所述第二緩存中讀取所述待更新數(shù)據(jù)；

獲取所述待更新數(shù)據(jù)的特征信息包括：提取讀取的所述待更新數(shù)據(jù)的特征信息；

在得到更新的插入數(shù)據(jù)之后，所述方法還包括：基于所述更新的插入數(shù)據(jù)更新所述第一緩存中緩存的插入數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)更新方法，其特征在于，在獲取所述待更新數(shù)據(jù)的特征信息之后，所述方法還包括：

若從所述第一緩存中未查詢到與所述待更新數(shù)據(jù)的特征信息相匹配的插入數(shù)據(jù)，則通過數(shù)據(jù)更新接口，更新所述分布式索引服務(wù)引擎中與所述待更新數(shù)據(jù)對應(yīng)的數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)更新方法，其特征在于，基于所述待更新數(shù)據(jù)更新所述插入數(shù)據(jù)，得到更新的插入數(shù)據(jù)包括：

從第一緩存中提取所述插入數(shù)據(jù)的數(shù)據(jù)對象；

將所述數(shù)據(jù)對象中的屬性值替換為所述待更新數(shù)據(jù)的屬性值，得到更新的插入數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)更新方法，其特征在于，獲取多條待更新數(shù)據(jù)包括：

從數(shù)據(jù)接入模塊接收待處理數(shù)據(jù)；

將所述待處理數(shù)據(jù)解析成預(yù)定格式的第二數(shù)據(jù)，其中，所述預(yù)定格式為所述分布式索引服務(wù)引擎所支持的格式；

按照數(shù)據(jù)類型拆分所述第二數(shù)據(jù)，得到拆分?jǐn)?shù)據(jù)，其中，所述數(shù)據(jù)類型與數(shù)據(jù)待執(zhí)行的操作相對應(yīng)，所述待執(zhí)行的操作包括更新操作和/或插入操作，所述拆分?jǐn)?shù)據(jù)包括所述多條待更新數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)更新方法，其特征在于，所述拆分?jǐn)?shù)據(jù)還包括多條插入數(shù)據(jù)，其中，在得到拆分?jǐn)?shù)據(jù)之后，所述方法還包括：

將所述多條插入數(shù)據(jù)批量插入所述分布式索引服務(wù)引擎和存入第一緩存。

6.一種用于分布式索引服務(wù)引擎的數(shù)據(jù)更新裝置，其特征在于，包括：

獲取單元，用于獲取多條待更新數(shù)據(jù)；

確定單元，用于確定與每條所述待更新數(shù)據(jù)相對應(yīng)的插入數(shù)據(jù)；

第一更新單元，用于基于所述待更新數(shù)據(jù)更新所述插入數(shù)據(jù)，得到更新的插入數(shù)據(jù)；

第一處理單元，用于調(diào)用所述分布式索引服務(wù)引擎的批量插入接口，通過所述批量插入接口將基于所述待更新數(shù)據(jù)得到的所述更新的插入數(shù)據(jù)批量插入分布式索引服務(wù)引擎；

其中，所述確定單元包括：

特征信息獲取模塊，用于獲取所述待更新數(shù)據(jù)的特征信息；

查詢模塊，用于從第一緩存中查詢與所述待更新數(shù)據(jù)的特征信息相匹配的插入數(shù)據(jù)，其中，所述第一緩存設(shè)置在所述數(shù)據(jù)更新裝置的存儲單元中，所述第一緩存中緩存有多條插入數(shù)據(jù)；并且

所述存儲單元中還設(shè)置有第二緩存，所述第二緩存用于存儲獲取到的多條待更新數(shù)據(jù)；

所述裝置還包括：

監(jiān)測單元，用于監(jiān)測所述第二緩存中待更新數(shù)據(jù)的緩存時長；

讀取單元，用于若所述待更新數(shù)據(jù)的緩存時長達(dá)到預(yù)定時長，從所述第二緩存中讀取所述待更新數(shù)據(jù)；

第二更新單元，用于在得到更新的插入數(shù)據(jù)之后，基于所述更新的插入數(shù)據(jù)更新所述第一緩存中緩存的插入數(shù)據(jù)。