[發明專利]用于數據處理的方法、設備和計算機可讀介質

有效

• 申請號: 201811261837.6
• 申請日: 2018-10-26
• 公開（公告）號: CN111104250B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 張勇;吳鵬飛;張鳴;王鯤
• 申請（專利權）人: 伊姆西IP控股有限責任公司
• 主分類號: G06F11/14
• 分類號: G06F11/14
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

本公開的實施例旨提供一種用于數據處理的方法、設備和計算機程序產品。該方法包括：在元數據管理系統的多個節點中的第一節點處，確定所述多個節點中的、存儲有與元數據的切片相關聯的訪問信息的節點集合；從所述節點集合中確定能夠提供所述切片的可用節點的數目；以及基于閾值數目，調整所述可用節點的數目。通過本公開的實施例提出的方法能夠實現元數據的切片的在各個節點中分布式管理，而無需使用傳統方案中的管理節點。

技術領域

本公開的實施例總體涉及數據處理，更具體地，涉及一種用于數據處理的方法、設備和計算機程序產品。

背景技術

在數據保護的搜索群集(Search Cluster)中，索引數據通常被分組為多個索引。索引可以分為多個切片(Shard)，也就是索引數據的分區，每個切片具有多個副本。跟蹤每個切片的副本數目以及切片被存儲在分布式搜索節點中的哪個節點上是至關重要的。切片信息是搜索群集的主要元數據。元數據管理系統是搜索群集的核心組件。

在搜索分布式系統中，可以預見到某些搜索節點由于硬件和軟件的故障而發生故障。因此，如果期望分布式搜索系統應具有高可用性，則在這樣的搜索分布式系統中應該監視和管理每個副本的狀態。通常，所期望的副本數目是由用戶定義的。如果搜索節點故障(或重新啟動)，元數據管理系統不僅需要知曉該節點發生故障這一事件，還應該在其他搜索節點上創建新的副本，確保滿足所期望的可用副本數目。

傳統方案中設置用于管理各個節點的主節點，如果用戶需要獲取各個從節點中的切片的信息，則需要向主節點發出請求以實現數據訪問。這種主-從節點的分布結構易于維護數據的所有信息。然而其缺點在于，一旦該主節點發生故障，則用戶無法獲取到所有從節點的信息。此外，在多個云環境中，每個云中的主節點的同步和通信過程比較復雜。

發明內容

本公開的實施例旨在提供一種用于數據處理的方法、設備和計算機程序產品，以解決現有技術中存在的問題。

在本公開的第一方面，提供一種用于數據處理的方法。所述方法包括：在元數據管理系統的多個節點中的第一節點處，確定所述多個節點中的、存儲有與元數據的切片相關聯的訪問信息的節點集合；從所述節點集合中確定能夠提供所述切片的可用節點的數目；以及基于閾值數目，調整所述可用節點的數目。

在本公開的第二方面，提供一種用于數據處理的設備。所述設備包括至少一個處理器以及與所述至少一個處理器耦合的存儲器。所述存儲器包含有存儲于其中的指令，所述指令在被所述至少一個處理單元執行時，使得所述設備執行動作，所述動作包括：在元數據管理系統的多個節點中的第一節點處，確定所述多個節點中的、存儲有與元數據的切片相關聯的訪問信息的節點集合；從所述節點集合中確定能夠提供所述切片的可用節點的數目；以及基于閾值數目，調整所述可用節點的數目。

在本公開的第三方面，提供一種計算機程序產品，所述計算機程序產品被有形地存儲在非瞬態計算機可讀介質上并且包括機器可執行指令，所述機器可執行指令在被執行時使機器執行上述第一方面所述的方法的步驟。

提供發明內容部分是為了簡化的形式來介紹對概念的選擇，它們在下文的具體實施方式中將被進一步描述。發明內容部分無意標識本公開內容的關鍵特征或主要特征，也無意限制本公開內容的范圍。

附圖說明

通過參考附圖閱讀下文的詳細描述，本公開的實施例的上述以及其他目的、特征和優點將變得易于理解。在附圖中，以示例而非限制性的方式示出了本公開的若干實施例，其中：

圖1示出了根據一些實施例的元數據管理系統的架構100的示意圖。

圖2示出了能夠實施本公開的實施例的示例性架構200的示意圖。

圖3示出了根據本公開的實施例的方法300的流程圖。

圖4示出了根據本公開的實施例的節點示意圖。