[發明專利]數據傳輸方法及裝置

在審

• 申請號: 201910399729.3
• 申請日: 2019-05-14
• 公開（公告）號: CN110147356A
• 公開（公告）日: 2019-08-20
• 發明（設計）人: 廖峻陽;陳錦煊;林杰興
• 申請（專利權）人: 廈門歡樂逛科技股份有限公司
• 主分類號: G06F16/18
• 分類號: G06F16/18;G06F16/172
• 代理公司: 廈門創象知識產權代理有限公司 35232
• 代理人: 陳文戎

本發明提出了一種數據傳輸方法及裝置，其中該方法包括：對不同數據源進行定制化采集以獲得不同的采集數據，并將不同的采集數據解析成統一數據格式的數據包；將所述統一數據格式的數據包寫入數據管道進行緩存；讀取所述數據管道中緩存的數據包，并將讀取的數據包寫入下游數據存儲服務，以實現數據傳輸；在數據傳輸的過程中，根據所述下游數據存儲服務的預設流量峰值對讀取數據的流量速率進行限制。由此，本發明通過數據管道對數據進行本地化緩沖，再通過流量控制組件動態調節數據傳輸流量，使整個傳輸過程安全穩定，從而有效提高數據傳輸率。

技術領域

本發明涉及數據傳輸技術領域，特別涉及一種數據傳輸方法、一種數據傳輸裝置以及一種計算機可讀存儲介質和計算機設備。

背景技術

在業務運行過程中，通常會產生海量的日志數據，為了方便后續對該日志數據進行查看和統計，就需要對該日志數據進行統一采集和傳輸，并存儲到統一的日志數據存儲服務中，然而，在數據采集和傳輸過程中，由于數據量頻繁波動、且不可預估，一旦數據量較大時，將難以保證數據安全高效的傳輸。

發明內容

本發明旨在至少在一定程度上解決上述技術中的技術問題之一。為此，本發明的一個目的在于提出一種數據傳輸方法，通過數據管道對數據進行本地化緩沖，再通過流量控制組件動態調節數據傳輸流量，使整個傳輸過程安全穩定，從而有效提高數據傳輸率。

本發明的第二個目的在于提出一種計算機可讀存儲介質。

本發明的第三個目的在于提出一種計算機設備。

本發明的第四個目的在于提出一種數據傳輸裝置。

為達到上述目的，本發明第一方面實施例提出了一種數據傳輸方法，該方法包括以下步驟：對不同數據源進行定制化采集以獲得不同的采集數據，并將不同的采集數據解析成統一數據格式的數據包；將所述統一數據格式的數據包寫入數據管道進行緩存；讀取所述數據管道中緩存的數據包，并將讀取的數據包寫入下游數據存儲服務，以實現數據傳輸；在數據傳輸的過程中，根據所述下游數據存儲服務的預設流量峰值對讀取數據的流量速率進行限制。

根據本發明實施例的數據傳輸方法，首先對不同數據源進行定制化采集以獲得不同的采集數據，并將不同的采集數據解析成統一數據格式的數據包；接著將統一數據格式的數據包寫入數據管道進行緩存；然后讀取數據管道中緩存的數據包，并將讀取的數據包寫入下游數據存儲服務，以實現數據傳輸；并且在數據傳輸的過程中，根據下游數據存儲服務的預設流量峰值對讀取數據的流量速率進行限制。由此，本發明通過將統一數據格式的數據包寫入數據管道進行緩存，再通過流量控制組件動態調節數據傳輸流量，使整個傳輸過程安全穩定，從而有效提高數據傳輸率。

另外，根據本發明上述實施例提出的數據傳輸方法還可以具有如下附加的技術特征：

可選地，在對不同數據源進行定制化采集之前，還通過Web管理平臺對數據傳輸任務進行配置，并通過Zookeeper將配置信息實時同步到不同的數據任務節點。

可選地，在所述數據傳輸任務的運行過程中，所述數據任務節點還將正在運行的任務信息發送給所述Zookeeper，以便所述Web管理平臺通過所述Zookeeper獲取所述任務信息。

可選地，在數據傳輸的過程中，向所述下游數據存儲服務發送查詢指令，以獲取所述下游數據存儲服務根據所述查詢指令反饋的服務檢測信息，并根據所述服務檢測信息對所述下游數據存儲服務的健康狀態進行判定，以及根據判定結果獲取相應的預設流量峰值。

為達到上述目的，本發明第二方面實施例提出了一種計算機可讀存儲介質，其上存儲有數據傳輸程序，該數據傳輸程序被處理器執行時實現如上述的數據傳輸方法。