[發明專利]數據傳輸方法及裝置

在審

• 申請號: 201910399729.3
• 申請日: 2019-05-14
• 公開（公告）號: CN110147356A
• 公開（公告）日: 2019-08-20
• 發明（設計）人: 廖峻陽;陳錦煊;林杰興
• 申請（專利權）人: 廈門歡樂逛科技股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/172
• 代理公司: 廈門創象知識產權代理有限公司 35232
• 代理人: 陳文戎

1.一種數據傳輸方法，其特征在于，包括以下步驟：

對不同數據源進行定制化采集以獲得不同的采集數據，并將不同的采集數據解析成統一數據格式的數據包；

將所述統一數據格式的數據包寫入數據管道進行緩存；

讀取所述數據管道中緩存的數據包，并將讀取的數據包寫入下游數據存儲服務，以實現數據傳輸；

在數據傳輸的過程中，根據所述下游數據存儲服務的預設流量峰值對讀取數據的流量速率進行限制。

2.如權利要求1所述的數據傳輸方法，其特征在于，在對不同數據源進行定制化采集之前，還通過Web管理平臺對數據傳輸任務進行配置，并通過Zookeeper將配置信息實時同步到不同的數據任務節點。

3.如權利要求2所述的數據傳輸方法，其特征在于，在所述數據傳輸任務的運行過程中，所述數據任務節點還將正在運行的任務信息發送給所述Zookeeper，以便所述Web管理平臺通過所述Zookeeper獲取所述任務信息。

4.如權利要求1-3中任一項所述的數據傳輸方法，其特征在于，在數據傳輸的過程中，向所述下游數據存儲服務發送查詢指令，以獲取所述下游數據存儲服務根據所述查詢指令反饋的服務檢測信息，并根據所述服務檢測信息對所述下游數據存儲服務的健康狀態進行判定，以及根據判定結果獲取相應的預設流量峰值。

5.一種計算機可讀存儲介質，其特征在于，其上存儲有數據傳輸程序，該數據傳輸程序被處理器執行時實現如權利要求1-4中任一項所述的數據傳輸方法。

6.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時，實現如權利要求1-4中任一項所述的數據傳輸方法。

7.一種數據傳輸裝置，其特征在于，包括：

采集模塊，用于對不同數據源進行定制化采集以獲得不同的采集數據，并將不同的采集數據解析成統一數據格式的數據包；

緩存模塊，用于將所述統一數據格式的數據包寫入數據管道進行緩存；

數據傳輸控制模塊，用于讀取所述數據管道中緩存的數據包，并將讀取的數據包寫入下游數據存儲服務，以實現數據傳輸，以及在數據傳輸的過程中根據所述下游數據存儲服務的預設流量峰值對讀取數據的流量速率進行限制。

8.如權利要求7所述的數據傳輸裝置，其特征在于，還包括配置模塊，用于在所述采集模塊對不同數據源進行定制化采集之前，通過Web管理平臺對數據傳輸任務進行配置，并通過Zookeeper將配置信息實時同步到不同的數據任務節點。

9.如權利要求8所述的數據傳輸裝置，其特征在于，在所述數據傳輸任務的運行過程中，所述數據任務節點還將正在運行的任務信息發送給所述Zookeeper，以便所述Web管理平臺通過所述Zookeeper獲取所述任務信息。

10.如權利要求7-9中任一項所述的數據傳輸裝置，其特征在于，所述數據傳輸控制模塊還用于，在數據傳輸的過程中，向所述下游數據存儲服務發送查詢指令，以獲取所述下游數據存儲服務根據所述查詢指令反饋的服務檢測信息，并根據所述服務檢測信息對所述下游數據存儲服務的健康狀態進行判定，以及根據判定結果獲取相應的預設流量峰值。