[發明專利]一種跨域數據傳輸方法、裝置及存儲介質

在審

• 申請號: 202011503003.9
• 申請日: 2020-12-17
• 公開（公告）號: CN114650292A
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 洪冬冬;申銀杰
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司;中國移動通信集團有限公司
• 主分類號: H04L67/10
• 分類號: H04L67/10;H04L67/1074;H04L9/40;H04L67/1042
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 李路遙;張穎玲

本申請實施例提供了一種跨域數據傳輸方法、裝置以及存儲介質；其中，所述方法應用于包含多個服務器集群的服務系統中，不同所述服務集群為不同的域，所述方法包括：接收跨域傳輸請求，其中，所述跨域傳輸請求為：在不同所述域之間進行數據傳輸的請求；根據所述跨域傳輸請求，對發送所述跨域傳輸請求的用戶進行所述跨域傳輸請求所涉及讀寫權限的認證；在所述認證通過之后，根據所述跨域傳輸請求生成跨域傳輸任務；將所述跨域傳輸任務分發給所述跨域傳輸請求涉及的源域，其中，所述跨域傳輸任務，用于觸發所述源域的資源協調者將所述源域的數據寫入到所述目標域。

技術領域

本發明涉及大數據領域，尤其涉及一種跨域數據傳輸方法、裝置及存儲介質。

背景技術

現有技術中，由于計算需求、區域分布、技術能力等一系列原因，通常會有多個不同配置的HADOP集群同時存在，多個集群間由于計算或者統計等需求需要相互之間進行數據傳輸同步。

目前，對集群間數據跨域傳輸的解決方案主要有兩種：Hadoop集群Distcp工具和中轉數據傳輸。其中，通過Hadoop集群Distcp工具對集群間數據跨域傳輸的核心是集群互信，通過集群配置kerberos互信，使得數據源集群的票據能夠在目標集群被識別且能合法使用。完成集群互信后，可以直接使用Hadoop自帶Distcp工具進行集群間數據傳輸。

中轉數據傳輸則是通過源集群將待傳輸數據上傳至數據中轉站存儲，再通過數據中轉站將待傳輸數據轉發到目標集群。

Hadoop集群Distcp工具方案在集群間配置完互信后，只需要源數據集群或者目標集群任一票據就可以實現集群間的數據拷貝，使用簡單。但是具有集群互信配置復雜，配置過程中容易導致集群故障影響使用的缺陷；在所有配置完成后還需要對互信集群進行重啟操作。

中轉數據傳輸方案首先需要建立數據中轉站，在數據傳輸中轉過程中數據安全性較低。

發明內容

本發明實施例提供一種跨域數據傳輸方法、裝置及存儲介質。

本發明實施例技術方案是這樣實現的：

本發明實施例提供一種跨域數據傳輸方法，應用于包含多個服務器集群的服務系統中，其特征在于，不同所述服務集群為不同的域，包括：

接收跨域傳輸請求，其中，所述跨域傳輸請求為：在不同所述域之間進行數據傳輸的請求；

根據所述跨域傳輸請求，對發送所述跨域傳輸請求的用戶進行所述跨域傳輸請求所涉及讀寫權限的認證；

在所述認證通過之后，根據所述跨域傳輸請求生成跨域傳輸任務；

將所述跨域傳輸任務分發給所述跨域傳輸請求涉及的源域，其中，所述跨域傳輸任務，用于觸發所述源域的資源協調者將所述源域的數據寫入到所述目標域。

上述方案中，所述跨域傳輸請求，包括：

所述跨域傳輸請求至少包括：所述源域的目錄地址、所述目標域的目錄地址和所述用戶標識；

所述對發送所述跨域傳輸請求的用戶進行所述跨域傳輸請求所涉及讀寫權限的認證，包括：

根據所述用戶標識，向所述源域發送讀權限的認證請求并接收基于所述讀權限的認證請求返回的認證結果；

根據所述用戶標識，向所述目標域發送寫權限的認證請求并和接收基于所述寫權限的認證請求返回的認證結果。

上述方案中，在所述將所述跨域傳輸任務分發給所述跨域傳輸請求涉及的源域之后，所述方法還包括：

確定是否接收到操控指令；

在確定接收到所述操控指令之后，將所述操控指令分發給所述跨域傳輸請求涉及的源域；