[發明專利]多大數據中心分層互聯互通方法及裝置

有效

• 申請號: 201711394815.2
• 申請日: 2017-12-21
• 公開（公告）號: CN109951370B
• 公開（公告）日: 2022-07-05
• 發明（設計）人: 鄂海紅;段云峰;宋美娜;張城城;王赟
• 申請（專利權）人: 博元森禾信息科技（北京）有限公司
• 主分類號: H04L12/46
• 分類號: H04L12/46;H04L67/561;H04L67/1097
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

本發明公開了一種多大數據中心分層互聯互通方法及裝置，其中，方法包括：通過數據分析層的通信協議進行會話管理、數據解析與封裝、狀態監控和元數據管理；通過計算引擎層的通信協議進行會話管理、數據解析與封裝、集群監控和任務元數據管理；通過資源管理層的通信協議進行任務的跨集群調度；通過文件存儲層的通信協議進行遠程大數據集群的跨域讀寫，以實現遠程讀取其他大數據集群的文件存儲中的數據。該方法可以在數聯網技術架構中，實現多數據中心不同層級之間的通信，使數字化資源可以在各個數據中心無障礙流通與共享，實現多大數據中心跨域的通信，實現計算資源、存儲資源和數字資源的流通與共享。

技術領域

本發明涉及大數據技術領域，特別涉及一種多大數據中心分層互聯互通方法及裝置。

背景技術

目前，互聯網的相關概念已日趨成熟并深入人心，互聯網將網絡中的各個孤立節點連接起來實現了數據的傳輸。但是，隨著云計算、物聯網等技術的興起，使人類社會數據種類、規模以驚人的速度增長，人類社會迎來了大數據時代。“數聯網”(Internet of Data)應運而生，“數聯網”是我國下一代大數據基礎設施總體技術架構和具體實現的總稱。以互聯網為承載網絡，通過標準的格式、接口、協議，進行數據的交換和互聯，以更加豐富的數據維度，實現數據連通之后的各種業務應用。

在大數據時代各個公司和企業紛紛建立自己的大數據中心，通過對數據的分析為用戶和公司的戰略發展提供支持，然而各個公司大數據的大數據中心都是一個個孤立的節點，只能為公司內部使用，不能跨域與其他公司或者企業的大數據中心進行互聯互通，例如：A的大數據中心，無法與B的大數據中心進行互聯互通，即A無法訪問B的大數據中心的計算資源、存儲資源和數據資源，因為A和B不再同一個域中。

相關技術中，通過利用邊緣VTEP(VXLAN Tunnel End Point，隧道端點)與數據中心內的各VTEP建立VXLAN(Virtual Extensible LAN，虛擬可擴展局域網)隧道，與其它數據中心點邊緣VTEP建立DCI(Downlink Control Information，下行控制信息)隧道。保存從VXLAN隧道、DCI隧道、以及在本地學習到的地址信息；需要進行地址信息發布時，將從VXLAN隧道學習到的地址信息從所有DCI隧道發布出去；將從DCI隧道學習到的地址信息從所有VXLAN隧道發布出去；將在本地學習到的地址信息從所有VXLAN隧道和DCI隧道發布出去。或者是一種基于鍵值分布的跨數據中心的大數據處理系統，該系統基于Hadoop和MR提出了一種新的架構，該系統主要包括HigherJobTracker模塊、CopyerManager模塊、Copyer模塊、JobTracker模塊、TaskTracker模塊和ResourceManager模塊，主要對MapReduce組件進行改造實現跨大數據中心數據處理。

然而，已有的多數據中心的互聯互通的技術主要是通過利用網絡通過隧道進行互聯或者通過對摸一個具體的組件進行改造實現多數據中心的互聯，并沒有考慮大數據平臺的分層架構，各個公司和企業的大數據中心是一個個孤立的節點，只能為公司內部服務，不能與其他大數據中心進行互聯互通，無法解決跨域大數據中心的互聯互通，不能實現計算資源、存儲資源和數字資源的流通與共享，導致不能充分利用大數據的價值，有待解決。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種多大數據中心分層互聯互通方法，該方法可以在數聯網技術架構中，解決跨域大數據中心的互聯互通，實現計算資源、存儲資源和數字資源的流通與共享。

本發明的另一個目的在于提出一種多大數據中心分層互聯互通裝置。