[發明專利]一種日志傳輸方法及裝置

有效

• 申請號: 201610182320.2
• 申請日: 2016-03-28
• 公開（公告）號: CN105681472B
• 公開（公告）日: 2019-04-02
• 發明（設計）人: 郝忠秀;陸勇;王崇;任文越
• 申請（專利權）人: 微夢創科網絡科技（中國）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24
• 代理公司: 北京卓嵐智財知識產權代理事務所(特殊普通合伙) 11624
• 代理人: 任漱晨

本發明實施例提供一種日志傳輸方法及裝置，所述方法包括：監聽并獲取日志數據；將監聽獲取到的日志數據依次轉存到數據轉存隊列中；從所述數據轉存隊列中讀取日志數據，根據包含日志的存儲類型和日志存儲服務器的對應關系的日志類型配置對應表，確定所述日志數據需要存儲的對應的日志存儲服務器，將所述日志數據發送到對應的日志存儲服務器上。上述技術方案具有如下有益效果：降低了日志產生業務方的接入門檻，解決了現有技術特定協議的接入不靈活的問題和日志消息實時性的問題，順便解決了日志吞吐量的問題，最終使得業務方隨便選擇一個自己團隊熟悉的接入方式即可，不再需要業務方考慮日志消息的實時性問題和日志存儲服務對接方式的解決方案。

技術領域

本發明涉及網絡日志技術領域，尤其涉及一種日志傳輸方法及裝置。

背景技術

現有技術在日志傳輸方面一般都是開源解決方案，如Scribe(Scribe是Facebook開源的日志收集系統，在Facebook內部已經得到大量的應用)、Flume(Flume最早是Cloudera提供的日志收集系統，目前是Apache下的一個孵化項目，Flume支持在日志系統中定制各類數據發送方，用于收集數據)或者通過編寫腳本將本地文件定期傳輸到處理節點上，對于有些屬于事務類型的日志，這些方式傳輸無法達到實時傳輸，trace(追蹤)類型的日志可以用以上方式傳輸，但是如果日志傳輸用兩套解決方案勢必會增加業務團隊的工作量，維護成本也會隨之增加。

發明內容

本發明實施例提供一種日志傳輸方法及裝置，以降低日志產生業務方的接入門檻。

一方面，本發明實施例提供了一種日志傳輸方法，所述方法包括：

監聽并獲取日志數據；

將監聽獲取到的日志數據依次轉存到數據轉存隊列中；

從所述數據轉存隊列中讀取日志數據，根據包含日志的存儲類型和日志存儲服務器的對應關系的日志類型配置對應表，確定所述日志數據需要存儲的對應的日志存儲服務器，將所述日志數據發送到對應的日志存儲服務器上。

另一方面，本發明實施例提供了一種日志傳輸裝置，所述裝置包括：

日志數據獲取單元，用于監聽并獲取日志數據；

數據轉存隊列單元，用于將監聽獲取到的日志數據依次轉存到數據轉存隊列中；

日志存儲適配單元，用于從所述數據轉存隊列中讀取日志數據，根據包含日志的存儲類型和日志存儲服務器的對應關系的日志類型配置對應表，確定所述日志數據需要存儲的對應的日志存儲服務器，將所述日志數據發送到對應的日志存儲服務器上。

上述技術方案具有如下有益效果：降低了日志產生業務方的接入門檻，解決了現有技術特定協議的接入不靈活的問題和日志消息實時性的問題，順便解決了日志吞吐量的問題，最終使得業務方隨便選擇一個自己團隊熟悉的接入方式即可，不再需要業務方考慮日志消息的實時性問題和日志存儲服務對接方式的解決方案。

附圖說明

為了更清楚地說明本發明實施例或現有技術中的技術方案，下面將對實施例或現有技術描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1為本發明實施例一種日志傳輸方法流程圖；

圖2為本發明實施例一種日志傳輸裝置結構示意圖；

圖3為本發明實施例一種日志數據獲取單元結構示意圖；

圖4為本發明實施例另一種日志傳輸裝置結構示意圖；

圖5為本發明應用實例一種日志傳輸流程示意圖；