[發明專利]分布式索引服務引擎的數據更新方法、裝置及存儲介質

有效

• 申請號: 201710880735.1
• 申請日: 2017-09-26
• 公開（公告）號: CN110019259B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 張濤
• 申請（專利權）人: 億陽信通股份有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/27
• 代理公司: 北京卓嵐智財知識產權代理有限公司 11624
• 代理人: 任漱晨

本申請提供了一種用于分布式索引服務引擎的數據更新方法、裝置及存儲介質。其中，該方法包括：獲取多條待更新數據；確定與每條所述待更新數據相對應的插入數據；基于所述待更新數據更新所述插入數據，得到更新的插入數據；調用所述分布式索引服務引擎的批量插入接口，通過所述批量插入接口將基于所述待更新數據得到的所述更新的插入數據批量插入分布式索引服務引擎。本申請通過上述手段批量更新ES中數據，解決了現有技術中ES更新操作處理效率低、系統負荷高的問題，提高了更新效率、降低了系統負荷。

技術領域

本申請涉及數據處理技術領域，特別地，涉及一種用于分布式索引服務引擎的數據更新方法、裝置及存儲介質。

背景技術

數據處理系統對于ES的操作都集中在插入和查詢操作上，這也是操作大數據的通用操作模式。因此很多大數據中間件產品，對于插入和查詢支持比較好。而ES除了支持插入和查詢操作外，還提供了更新操作的方法。然而，目前ES支持的更新操作雖然可以解決大數據的更新問題，但其操作方式會降低ES的處理性能。

具體地，現有的更新操作是針對一條需要更新的數據，單次進行提交更新。在實際業務場景中，在一個很短的時間短內往往需要對大量的數據進行更新，采用逐一提交更新的方式，將占用大量的I/O資源(輸入/輸出資源)，大量的I/O請求會堵塞在數據處理系統與ES的交互上，影響數據處理系統的整體處理性能。

綜上，現有技術中ES提供的數據更新方法，采用單次單條提交的方法，處理效率低下，系統響應慢；大數據量請求更新時，占用系統I/O資源和網絡帶寬，系統耗時在等待ES處理更新數據的過程中，阻塞其它進程工作，系統負荷變高。

針對上述問題，目前尚未提出有效的解決方案。

發明內容

本申請提供一種數據更新方法和裝置，用于解決現有技術ES更新操作處理效率低、系統負荷高的問題。

為了實現上述目的，本申請實施例公開了一種用于分布式索引服務引擎的數據更新方法，該方法包括：獲取多條待更新數據；確定與每條上述待更新數據相對應的插入數據；基于上述待更新數據更新上述插入數據，得到更新的插入數據；調用上述分布式索引服務引擎的批量插入接口，通過上述批量插入接口將基于上述待更新數據得到的上述更新的插入數據批量插入分布式索引服務引擎。

進一步地，確定與每條上述待更新數據相對應的插入數據包括：獲取上述待更新數據的特征信息；從第一緩存中查詢與上述待更新數據的特征信息相匹配的插入數據，其中，上述第一緩存中緩存有多條插入數據。

進一步地，在獲取多條待更新數據之后，上述方法還包括：將上述多條待更新數據存儲入第二緩存；監測上述第二緩存中待更新數據的緩存時長；若上述待更新數據的緩存時長達到預定時長，從上述第二緩存中讀取上述待更新數據；獲取上述待更新數據的特征信息包括：提取讀取的上述待更新數據的特征信息；在得到更新的插入數據之后，上述方法還包括：基于上述更新的插入數據更新上述第一緩存中緩存的插入數據。

進一步地，在獲取上述待更新數據的特征信息之后，上述方法還包括：若從上述第一緩存中未查詢到與上述待更新數據的特征信息相匹配的插入數據，則通過數據更新接口，更新上述分布式索引服務引擎中與上述待更新數據對應的數據。

進一步地，基于上述待更新數據更新上述插入數據，得到更新的插入數據包括：從上述第一緩存中提取上述插入數據的數據對象；將上述數據對象中的屬性值替換為上述待更新數據的屬性值，得到更新的插入數據。

進一步地，獲取多條待更新數據包括：從數據接入模塊接收待處理數據；將上述待處理數據解析成預定格式的第二數據，其中，上述預定格式為上述分布式索引服務引擎所支持的格式；按照數據類型拆分上述第二數據，得到拆分數據，其中，上述數據類型與數據待執行的操作相對應，上述待執行的操作包括更新操作和/或插入操作，上述拆分數據包括上述多條待更新數據。