[發明專利]數據共享方法及分布式數據共享系統

有效

• 申請號: 201810848343.1
• 申請日: 2018-07-27
• 公開（公告）號: CN108920111B
• 公開（公告）日: 2021-05-28
• 發明（設計）人: 徐爭莉;蘇飛;王振亞
• 申請（專利權）人: 中國聯合網絡通信集團有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

1.一種數據共享方法，其特征在于，應用于分布式數據共享系統中，所述分布式數據共享系統包括共享處理集群、數據傳輸集群和數據存儲集群，所述數據共享方法包括：

所述共享處理集群接收請求方發送的第一共享任務；其中，所述第一共享任務攜帶有如下至少一種共享方式：Web服務、文件傳輸協議FTP服務、數據庫直連服務、郵件服務、實時數據訂閱-發布服務和Hadoop分布式文件系統HDFS直連服務；

所述共享處理集群為可用共享方式分配系統資源；其中，所述可用共享方式為所述第一共享任務攜帶的，且系統資源占用率小于預設資源閾值的共享方式；

所述共享處理集群指示所述數據傳輸集群使用為所述可用共享方式分配的系統資源，向所述請求方發送所述數據存儲集群中存儲的數據。

2.根據權利要求1所述的數據共享方法，其特征在于，所述可用共享方式包括所述Web服務；所述共享處理集群和所述數據傳輸集群均為Web服務器集群；

所述共享處理集群指示所述數據傳輸集群使用為所述可用共享方式分配的系統資源，向所述請求方發送所述數據存儲集群中存儲的數據，包括：

所述Web服務器集群使用為所述Web服務分配的系統資源，向所述請求方發送所述數據存儲集群中存儲的數據。

3.根據權利要求2所述的數據共享方法，其特征在于，所述可用共享方式包括所述FTP服務；所述數據傳輸集群為FTP共享數據庫；

所述共享處理集群指示所述數據傳輸集群使用為所述可用共享方式分配的系統資源，向所述請求方發送所述數據存儲集群中存儲的數據，包括：

所述Web服務器集群指示所述FTP共享數據庫使用為所述FTP服務分配的系統資源，向所述請求方發送所述數據存儲集群中存儲的數據。

4.根據權利要求2所述的數據共享方法，其特征在于，所述可用共享方式包括所述數據庫直連服務、所述郵件服務和所述HDFS直連服務中的至少一種；所述數據傳輸集群為所述數據存儲集群；

所述共享處理集群指示所述數據傳輸集群使用為所述可用共享方式分配的系統資源，向所述請求方發送所述數據存儲集群中存儲的數據，包括：

所述Web服務器集群指示所述數據存儲集群使用為所述數據庫直連服務、所述郵件服務和所述HDFS直連服務中至少一種可用共享方式分配的系統資源，向所述請求方發送所述數據存儲集群中存儲的數據。

5.根據權利要求2所述的數據共享方法，其特征在于，所述第一共享任務還攜帶有所述請求方的標識和請求的流式數據的主題，所述可用共享方式包括所述實時數據訂閱-發布服務；所述數據傳輸集群包括ZooKeeper服務器集群和實時數據共享集群，所述數據存儲集群為Hadoop集群；

所述共享處理集群指示所述數據傳輸集群使用為所述可用共享方式分配的系統資源，向所述請求方發送所述數據存儲集群中存儲的數據，包括：

所述共享處理集群指示所述ZooKeeper服務器集群將所述請求方的標識和請求的流式數據的主題加入消費者列表；

所述ZooKeeper服務器集群根據請求的流式數據的主題，確定所述Hadoop集群中存在請求的流式數據；

所述ZooKeeper服務器集群指示所述Hadoop集群向所述實時數據共享集群推送請求的流式數據；

所述ZooKeeper服務器集群根據所述請求方的標識，通知所述請求方從所述實時數據共享集群中拉取請求的流式數據。

6.根據權利要求1-5任一項所述的數據共享方法，其特征在于，在所述共享處理集群為可用共享方式分配系統資源之后，所述數據共享方法還包括：

所述共享處理集群向所述請求方發送任務處理響應；其中，所述任務處理響應攜帶有如下至少一項：位于所述數據存儲集群中，且與所述可用共享方式對應的數據源的訪問方式，以及位于所述數據存儲集群中，且與不可用共享方式對應的數據源的不可訪問指示，所述不可用共享方式為所述第一共享任務攜帶的，且所述系統資源占用率大于等于所述預設資源閾值的共享方式。