[發明專利]用于分布式存儲系統的對象定位方法及電子設備

在審

• 申請號: 202011102061.0
• 申請日: 2020-10-15
• 公開（公告）號: CN112261097A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 張致江;夏靜霆;殷奎;張明;黃開元;王芝斌
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06;G06F3/06
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 李文清

本發明實施例提供一種用于分布式存儲系統的對象定位方法及電子設備，首先獲取待訪問對象的訪問請求；然后根據訪問請求攜帶的用戶信息，確定待訪問對象的指定虛擬存儲位置；最后利用本地存儲的虛擬存儲位置與實際存儲位置之間的映射關系，確定待訪問對象的指定實際存儲位置。通過虛擬存儲位置與實際存儲位置之間的映射關系的引入，不僅可以快速查找到待訪問對象的實際存儲位置，而且在本地存儲的映射關系是一種輕量級元數據，可以大大節約元數據的存儲空間，降低存儲規模以及復雜度，減少了搭建及維護成本。

技術領域

本發明涉及數據存儲技術領域，尤其涉及一種用于分布式存儲系統的對象定位方法及電子設備。

背景技術

由于大數據、人工智能(Artificial Intelligence，AI)技術的高速發展，需要配置的存儲系統具有更大的容量、更快的響應速度以及更大的帶寬。現有的對象存儲在規模超過10億或者100億之后性能急劇下降，元數據存儲急劇膨脹，而大數據和AI計算又會大量使用小文件，導致文件的元數據存儲代價接近甚至有可能超過文件本身。

現有的大規模并發對象存儲系統的元數據存儲絕大多數是基于TiDB或者TiKV的KV存儲作為統一的元數據中心，通過KV數據庫來存放元數據，在讀取時通過KV數據庫查詢對象的元數據并通過元數據的信息定位對象的真實存儲地址。

現有技術使用TiDB或者TiKV作為元數據中心的元數據存儲，其性能決定了整個系統的性能。TiDB作為一種kv數據庫，雖然擁有很好的查詢性能和可擴展性，但是隨著存儲規模的擴大，當數據量超過萬億，十萬億乃至百萬億時，任何通過元數據系統實現的查詢特別是sql查詢都有可能成為性能瓶頸，這是由于存儲、讀出、瀏覽(scan)的系統性能決定的，而為了提速，進行拆分有可能極大的推高元數據系統的成本。

發明內容

本發明實施例提供一種用于分布式存儲系統的對象定位方法、分布式存儲系統、電子設備以及存儲介質，用以解決現有技術中存在的缺陷。

本發明實施例提供一種用于分布式存儲系統的對象定位方法，包括：

獲取待訪問對象的訪問請求，其中，所述訪問請求攜帶所述待訪問對象的用戶信息；

基于所述用戶信息，確定所述待訪問對象的虛擬存儲位置；

利用本地存儲的虛擬存儲位置與實際存儲位置之間的映射關系，確定所述待訪問對象的實際存儲位置。

根據本發明一個實施例的用于分布式存儲系統的對象定位方法，所述用戶信息對應若干版本的虛擬存儲集合，所述虛擬存儲集合包括多個虛擬存儲位置；所述基于所述用戶信息，確定所述待訪問對象的指定虛擬存儲位置，包括：

確定所述用戶信息對應的活躍版本的虛擬存儲集合；

從所述活躍版本的虛擬存儲集合中，確定所述待訪問對象的指定虛擬存儲位置。

根據本發明一個實施例的用于分布式存儲系統的對象定位方法，所述訪問請求還攜帶有所述待訪問對象的標識信息；所述從所述活躍版本的虛擬存儲集合中，確定所述待訪問對象的指定虛擬存儲位置，包括：

基于所述標識信息以及所述活躍版本中的最新版本，確定所述待訪問對象的虛擬標識；

從所述活躍版本的虛擬存儲集合中查找出與所述虛擬標識對應的虛擬存儲位置作為所述待訪問對象的指定虛擬存儲位置。

根據本發明一個實施例的用于分布式存儲系統的對象定位方法，所述方法還包括：

接收待存儲對象的存儲請求，其中，所述存儲請求攜帶有所述待存儲對象的用戶信息；

利用本地存儲的虛擬存儲位置與實際存儲位置之間的映射關系，將所述待存儲對象存入與所述目標虛擬存儲位置對應的目標實際存儲位置。