[發明專利]數據傳輸方法及裝置

有效

• 申請號: 201610950810.2
• 申請日: 2016-10-26
• 公開（公告）號: CN107995234B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 王昌坤
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/26
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

本發明公開了一種數據傳輸方法及裝置，涉及信息技術領域，解決了現有技術中日志數據傳輸效率較低和速度較慢的問題。本發明的主要技術方案為：實時監控用戶設置的預置內存傳輸通道的數據容量閾值，并根據所述用戶設置的預置內存傳輸通道的數據容量閾值動態調整所述預置內存傳輸通道的數據容量閾值，所述預置內存傳輸通道保存有從所述源服務器中獲取的日志數據；檢測所述預置內存傳輸通道中的數據容量是否大于或者等于所述用戶設置的預置內存傳輸通道的數據容量閾值，若是，則停止從所述源服務器中獲取日志數據并將所述預置內存傳輸通道中的日志數據傳輸給目標服務器。本發明適用于數據傳輸。

技術領域

本發明涉及信息技術領域，尤其涉及一種數據傳輸方法及裝置。

背景技術

隨著信息技術的不斷發展，日志采集系統隨之出現，如Flume，Flume是一種高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸系統。日志采集系統通常從源服務器中獲取日志數據，然后將日志數據傳輸給目標服務器，其中，源服務器可以用于記錄日志數據，目標服務器可以用于對日志數據進行分析或者備份。為了保證日志數據能夠成功傳輸到目標服務器，日志采集系統通常將從源服務器中獲取的日志數據保存到中間傳輸通道上，然后將從中間傳輸通道獲取的日志數據傳輸給目標服務器。

目前，在進行數據傳輸時，通常將日志數據保存到內存傳輸通道并將內存傳輸通道溢出的日志數據保存到磁盤傳輸通道中。然而，內存傳輸通道和磁盤傳輸通道為不同的傳輸通道，若將日志數據保存到內存傳輸通道并將內存傳輸通道溢出的日志數據保存到磁盤傳輸通道中，會造成日志數據二次保存，造成日志數據傳輸效率較低。此外，將數據保存到磁盤傳輸通道的速度較慢，造成日志數據傳輸的速度較慢。

發明內容

鑒于上述問題，提出了本發明，以便提供一種克服上述問題或者至少部分地解決上述問題的數據傳輸方法及裝置。

為達到上述目的，本發明主要提供如下技術方案：

一方面，本發明提供了一種數據傳輸方法，所述方法包括：

實時監控用戶設置的預置內存傳輸通道的數據容量閾值，并根據所述用戶設置的預置內存傳輸通道的數據容量閾值動態調整所述預置內存傳輸通道的數據容量閾值，所述預置內存傳輸通道保存有從源服務器中獲取的日志數據；

檢測所述預置內存傳輸通道中的數據容量是否大于或者等于所述用戶設置的預置內存傳輸通道的數據容量閾值；

若是，則停止從所述源服務器中獲取日志數據并將所述預置內存傳輸通道中的日志數據傳輸給目標服務器。

另一方面，本發明提供了一種數據傳輸裝置，所述裝置包括：

監控單元，用于實時監控用戶設置的預置內存傳輸通道的數據容量閾值，所述預置內存傳輸通道保存有從源服務器中獲取的日志數據；

調整單元，用于根據所述監控單元監控的所述用戶設置的預置內存傳輸通道的數據容量閾值動態調整所述預置內存傳輸通道的數據容量閾值；

檢測單元，用于檢測所述預置內存傳輸通道中的數據容量是否大于或者等于所述用戶設置的預置內存傳輸通道的數據容量閾值；

獲取單元，用于若檢測單元檢測所述預置內存傳輸通道中的數據容量大于或者等于所述用戶設置的預置內存傳輸通道的數據容量閾值，則停止從所述源服務器中獲取日志數據；

傳輸單元，用于將所述預置內存傳輸通道中的日志數據傳輸給目標服務器。