[發(fā)明專利]元數據交互方法及系統

有效

• 申請?zhí)枺?/td>: 201710053030.2
• 申請日: 2017-01-24
• 公開（公告）號: CN108347455B
• 公開（公告）日: 2021-03-26
• 發(fā)明（設計）人: 程霖;朱云鋒;付鑫;安凱歌;唐治洋;陶云峰;盧毅軍
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 陳貞健

本發(fā)明的目的是提供一種元數據交互方法及系統，通過本發(fā)明通過將多個后端機組成一個后端一致性總系統，將后端機分成多個分區(qū)，各個分區(qū)分別響應對應的請求，分擔請求壓力，避免由同一個后端機響應所有請求，導致壓力過大的問題，實現了后端機的水平擴展，另外，通過為不同的用戶分配對應的分區(qū)，能夠給每個用戶所寫的元數據資源空間做Quota配額，而且用戶之間的元數據得到分區(qū)與隔離，安全性也得到保證，也便于區(qū)分不同的用戶進行Quota配額的計費。

技術領域

本發(fā)明涉及計算機領域，尤其涉及一種元數據交互方法及系統。

背景技術

現在越來越多的業(yè)務的數據存儲需要突破數據中心的邊界，實現跨地域服務的能力?；诳绲赜虻臄祿惒綇椭瓶此颇芙鉀Q這個問題，然而事實上這種異步復制會帶來數據難以達到一致性的問題，甚至存在無法處理地域級別的容災問題。在一些對數據一致性和可靠性要求極高的行業(yè)，例如互聯網金融業(yè)，這種異步復制是完全不能勝任的。

因此，在設計跨地域一致性元數據存儲系統(Global Meta System)方案時，后端系統會始終離不開使用分布式一致性系統(Quorum)來解決數據的高可用，一致性等。Quorum組圖如圖2所示，Quorum組中有角色Leader，Follower，Observer。在分布式一致性系統中，把組成一致性系統的幾臺機器稱為一個Quorum，這個Quorum里面的機器中的數據是一樣的，其中有幾個角色，Leader代表是該Quorum中的領導者，也就是所有請求到Quorum中的事務性請求都必須進過Leader來處理；Follower是接受非事務性請求，如果接收到事務性請求就需要轉發(fā)給Leader。Leader和Follower之間需要對用戶的事務性請求數據進行決策，同不同意這個請求數據。Observer在Quorum中只是個學習者，就從Leader中拉取數據，主要起到備份數據的作用。在此，事務性請求指的是寫/更新等可以改變后端一致性系統(NuwaLog)中的log數據的請求；非事務性請求指的是讀等不改變后端一致性系統(NuwaLog)log數據的請求。

隨著Quorum組中的機器增多，一個事務性請求請求需要proposer到Quorum組中N/2+1臺機器得到確認(ack)，其中，N代表該Quorum中的機器數量，一般在Quorum組中部署奇數個機器的Server,其中，機器之間的通信導致的網絡延遲增大，由此可見，Quorum不能任意擴展，Quorum組之間通信的開銷會導致事務性請求的性能下降。

目前，業(yè)界有一些比較好的一致性系統，如：zookeeper，chubby等。后端一致性系統(Quorum)一般由奇數個服務器(server)組成?？绲赜蛞恢滦栽獢祿到y中的(Frontend)的所有前端事務性請求都需要達到后端中，所有的請求都會與后端建立TCP連接與會話session，這樣會導致后端的壓力，而理論上Quorum不能任意擴展，因為Quorum組之間通信的開銷會導致事務性請求的性能下降。另外，在每一個Quorum組中，用戶的數據都往這個組里面寫，會經常出現后端壓力過大，用戶所寫的數據會不均勻，有的用戶寫的數據多，有的用戶寫的數據少，不能給每個用戶所寫的資源空間做Quota配額，而且用戶之間的數據得不到分區(qū)與隔離，安全性也得不到保證的問題。

在全球化的場景下，單純的利用一致性系統存儲元數據如log(日志)和snapshot(快照)，會造成單機存儲性能的下降和存儲容量的限制，數據存儲站點數量受一致性協議Quorum節(jié)點數的限制，而且每個地域(region)讀取數據性能低。其中，Log為事務性日志，也就是用戶發(fā)送的請求數據，在后端一致性系統中統一稱為Log；Snapshot為快照，也就是后端一致性系統中某一時刻內存中全量數據的快照。

在設計跨地域一致性元數據存儲系統架構中，最核心的是需要分布式一致性系統來保證全球元數據的一致性。業(yè)界通用的做法是利用zookeeper或者chubby，或者基于paxos實現的一致性系統，如圖1所示，它們的通用架構是：