[發明專利]數據傳輸方法和流式數據傳輸系統

在審

• 申請號: 202211081555.4
• 申請日: 2022-09-05
• 公開（公告）號: CN115473858A
• 公開（公告）日: 2022-12-13
• 發明（設計）人: 王翔宇;魏澤豐;高瑞超
• 申請（專利權）人: 上海嗶哩嗶哩科技有限公司
• 主分類號: H04L47/62
• 分類號: H04L47/62;H04L12/66;H04L67/10
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 饒文彬

本申請實施例提供了一種數據傳輸方法，所述方法包括：所述數據采集插件從數據源中采集數據流，并采用數據上報請求將采集到的數據上報至所述網關；所述網關在接收到所述數據上報請求后，將所述數據上報請求中的數據存儲至目標請求隊列中；所述網關通過輪詢方式從生產者池中確定每一個請求隊列對應的目標生產者，并通過所述目標生產者在預設的時間段內將所述目標生產者對應的請求隊列中的存儲的數據緩存至所述Kafka集群的目標主題中；所述Flink集群通過多個Flink SQL作業消費Kafka集群的各個主題中緩存的數據，并將消費到的數據分發至目標終端中。本申請可以避免不同數據流的傳輸之間會相互影響。

技術領域

本申請實施例涉及計算機技術領域，尤其涉及一種數據傳輸方法、流式數據傳輸系統、計算機設備及計算機可讀存儲介質。

背景技術

現有的流式數據傳輸系統從架構上可以劃分為數據源層、數據網關層、數據緩存層、數據分發層及數據存儲層，其中，數據源層采用數據采集插件從數據源中采集數據流并上報至數據網關層；數據網關層基于多個數據管道將數據緩存至數據緩存層；數據緩沖層使用kafka集群實現數據緩沖；數據分發層基于Flink集群實現將數據從數據緩存層同步至數據存儲層。然而，發明人發現，現有的流式數據傳輸系統在進行數據流的傳輸時，數據流之間的隔離性差，當數據管道內部某個數據流的流量陡增時，會造成整個數據管道內的所有數據流分發出現延遲。

發明內容

本申請實施例的目的是提供一種數據傳輸方法、流式數據傳輸系統、計算機設備及計算機可讀存儲介質，可以用于解決現有的流式數據傳輸系統在傳輸數據的過程中，當數據管道內部某個數據流的流量陡增時，會造成整個數據管道內的所有數據流分發出現延遲的問題。

本申請實施例的一個方面提供了一種數據傳輸方法，應用于流式數據傳輸系統中，所述流式傳輸系統包括由多個數據采集插件組成的數據上報邊緣層、由網關組成的數據上報網關層、由Kafka集群組成的數據緩存層、由Flink集群組成的數據分發層及由多個終端組成的數據存儲層，所述方法包括：

所述數據采集插件從數據源中采集數據流，并采用數據上報請求將采集到的數據上報至所述網關，其中，不同的數據流具有的數據流標識不同，每一個數據上報請求中包含的數據具有相同的數據流標識；

所述網關在接收到所述數據上報請求后，將所述數據上報請求中的數據存儲至目標請求隊列中，其中，具有不同的數據流標識的數據存儲的請求隊列不同；

所述網關通過輪詢方式從生產者池中確定每一個請求隊列對應的目標生產者，并通過所述目標生產者在預設的時間段內將所述目標生產者對應的請求隊列中的存儲的數據緩存至所述Kafka集群的目標主題中，其中，不同的請求隊列對應的主題不同；

所述Flink集群通過多個Flink SQL作業消費Kafka集群的各個主題中緩存的數據，并將消費到的數據分發至目標終端中，其中，每一個Flink SQL作業消費一個主題中緩存的數據。

可選的，所述流式數據傳輸系統還包括數據傳輸管理模塊，所述方法還包括：

所述數據傳輸管理模塊根據用戶對所述數據源中的待采集數據流的配置信息生成所述待采集數據流的元數據信息，并將所述元數據信息保存至預設的數據庫中，其中，所述元數據信息包括所述待采集數據流的數據流標識，所述待采集數據流對應緩存的主題信息、所述待采集數據流分發的終端信息。

可選的，所述數據采集插件從數據源中采集數據流，并采用數據上報請求將采集到的數據上報至所述網關包括：

所述數據采集插件通過不同的數據采集進程從數據源中采集不同的數據流，并采用不同的數據上報請求將不同的數據流中的數據上報至所述網關。

可選的，所述方法還包括：