[發明專利]元數據交互方法及系統

有效

• 申請號: 201710053029.X
• 申請日: 2017-01-24
• 公開（公告）號: CN108347454B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 程霖;盧毅軍;陶云峰;唐治洋;朱云鋒;安凱歌;付鑫
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 陳貞健

本發明的目的是提供一種元數據交互方法及系統，通過前端機從所述后端機上拉取元數據，并將拉取到的元數據存儲至前端機所在地域的本地存儲系統，并向所述后端機回復當前已經拉取的元數據的位置，所述后端機根據所述位置刪除其內部存儲的所述已經拉取的元數據，后端機不需要存儲所有的元數據，只需要存儲還未拉取到本地存儲系統，可以避免后端機的單機存儲性能的下降和存儲容量的限制，數據存儲站點數量受一致性協議Quorum節點數的限制的問題，達到整個系統的數據一致性、正確性與健壯性，另外，前端機和本地存儲系統可以實現按需要進行擴展。

技術領域

本發明涉及計算機領域，尤其涉及一種元數據交互方法及系統。

背景技術

在設計跨地域一致性元數據系統時，最核心的基礎組件是后端一致性系統(Quorum)，如業界的zookeeper，chubby。但是在全球化的場景下，單純的利用一致性系統存儲元數據如log(日志)和snapshot(快照)，會造成單機存儲性能的下降和存儲容量的限制，數據存儲站點數量受一致性協議Quorum節點數的限制，而且每個地域(region)讀取數據性能低。其中，Log為事務性日志，也就是用戶發送的請求數據，在后端一致性系統中統一稱為Log；Snapshot為快照，也就是后端一致性系統中某一時刻內存中全量數據的快照。

在設計跨地域一致性元數據存儲系統架構中，最核心的是需要分布式一致性系統來保證全球元數據的一致性。業界通用的做法是利用zookeeper或者chubby，或者基于paxos實現的一致性系統，如圖1所示，它們的通用架構是：

每個地域(region)需要一個本地存儲系統(storage system)，可以是mysql或者分布式數據庫等。這種架構的組件比較少，交互協議設計比較簡單。分布式一致性系統會每隔一段時間將snapshot打到存儲系統中，每個地域的client/user就會從存儲系統中獲取解析數據。但是,這種架構中，Quorum中的每個機器包括主服務器(Leader)和從服務器(Follower),還是需要存儲所有的snapshot，主服務器(Leader)和從服務器(Follower)的內存中還是存儲著全量的log數據。

在此,可以明顯看出上述這種一致性系統存在著明顯的可擴展性，單機性能瓶頸，磁盤和內存數據容量受限的問題。而且本地存儲系統(storage system)還是得需要從一致性系統中獲取數據，這樣還得需要Quorum系統中的Leader接入mysql/storage system，主動將snapshot數據發送到mysql/storage system，其性能不佳。因此，這樣的架構協議雖然簡單，一致性系統不需要任何修改，只要每隔一段時間將snapshot數據推送到mysql/storage system中就可以了，但是，這種架構只是解決了每個地域的用戶client/user的讀取請求而已，并沒有解決全球化跨地域的一致性元數據訪問的難點。

如上所述，直接使用分布式一致性系統作為跨地域核心后端系統，協議設計簡單，系統也不容易出錯，但是面臨著眾多性能和機器存儲容量的問題，也不具備可擴展性，這樣的分布式系統沒法在云計算這么復雜的場景下使用。

發明內容

本發明的一個目的是提供一種元數據交互方法及系統，能夠解決單純的利用一致性系統存儲元數據，會造成單機存儲性能的下降和存儲容量的限制，數據存儲站點數量受一致性協議Quorum節點數的限制的問題。

根據本發明的一個方面，提供了一種前端機上的元數據交互方法，該方法包括：

接收用戶的更新元數據請求，通過向后端機發送所述用戶的更新元數據請求，將對應的元數據更新入后端機；

從所述后端機上拉取元數據，并將拉取到的元數據存儲至前端機所在地域的本地存儲系統，并向所述后端機回復當前已經拉取的元數據的位置，以供所述后端機根據所述位置刪除其內部存儲的所述已經拉取的元數據。