[發明專利]基于數據分發服務的分布式日志網關

在審

• 申請號: 202310041008.1
• 申請日: 2023-01-12
• 公開（公告）號: CN116055465A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 蔡月祥;陳誠;張旸
• 申請（專利權）人: 奧特酷智能科技（南京）有限公司
• 主分類號: H04L67/01
• 分類號: H04L67/01;H04L12/66;H04L47/10
• 代理公司: 南京行高知識產權代理有限公司 32404
• 代理人: 李曉

本發明公開了一種基于數據分發服務的分布式日志網關，包括日志服務和日志網關，日志服務以獨立的進程運行在設備上，系統和應用程序將日志信息發送到日志服務中；日志服務通過DDS發布本設備的日志消息，由運行在本地或者其他設備上一個或多個日志網關通過DDS訂閱來自日志服務的日志消息；其中，日志服務根據配置的過濾規則對日志消息進行過濾或分類處理，然后發布日志消息到DDS?Topic上；日志網關則訂閱來自日志服務的DDS?Topic；日志網關可以配置本地的過濾規則，將過濾之后的日志消息發送到日志存儲服務器保存或日志分析系統。本發明設計為用戶提供了便利的日志管理、收集、傳輸方式，以及高可用性的實施方式。

技術領域

本發明涉及嵌入式系統日志存儲領域和數據分發服務技術，尤其涉及一種基于數據分發服務的分布式日志網關。

背景技術

數據分發服務(Data?Distribution?Service，DDS)，是新一代分布式實時通信中間件協議，采用發布/訂閱體系架構，強調以數據為中心，提供豐富的QoS服務質量策略，以保障數據進行實時、高效、靈活地分發，可滿足各種分布式實時通信應用需求。

DDS是一個以數據為中心的中間件協議和API標準，意為用戶只關心自己想要的數據，數據通過Topic進行標識，這樣發布者根據主題發布數據，訂閱者根據自己感興趣的主題訂閱數據。這便是DDS的核心，以數據為中心的發布-訂閱模型DCPS(Data-CentricPublish-Subscribe)。目前主流的DDS產品(或開源項目)包括RTI?DDS，OpenDDS，CycloneDDS等。

日志分析是運維和開發工程師發現問題，解決系統故障的主要手段。日志主要包括系統日志、應用程序日志和安全日志。系統運維和開發人員可以通過日志了解服務器軟硬件信息，檢查系統運行過程中的錯誤及錯誤發生的原因。通過分析日志可以了解服務器的負荷，性能安全性，從而及時采取措施進行干預。

通常，日志被分散的儲存在不同的設備上。在一個復雜的系統中，通常會有數十個，甚至上百個不同的設備，如果還在使用依次登錄每臺設備的傳統方法查閱日志，既繁瑣又效率低下。為此，我們可以使用集中化的日志管理，將所有服務器上的日志收集匯總，例如，開源的syslog和ELK等方案，將所有服務器上的日志收集匯總。

在將不同設備的系統和應用程序產生的日志進行收集匯總的過程中，現有的技術大多是將設備產生的日志，發送到單一的日志服務器進行存儲和匯總分析。在日志傳輸和匯總的過程中，存在以下幾個弊端：(1)日志收集的過濾規則，以及日志收集的開啟和關閉不夠靈活；(2)日志服務器容易成為瓶頸，當整個網絡內產生大量的日志信息需要傳輸時，日志服務器的負荷容易被占滿；(3)從產生日志的設備，到日志服務器之間，通常會經過多個網絡設備，如交換機和路由器，設置是公網網絡。在傳輸過程中，對于重要的日志信息，缺少高可靠性的措施。

發明內容

為解決現有技術中存在的不足，本發明的目的在于，提供一種基于數據分發服務的分布式日志網關。

為實現本發明的目的，本發明所采用的技術方案是：

一種基于數據分發服務的分布式日志網關，包括日志服務和日志網關，日志服務上設置DDS模塊，日志網關上設置DDS模塊；

日志服務以獨立的進程運行在設備上，系統和應用程序將日志信息發送到日志服務中；日志服務通過DDS發布本設備的日志消息，由運行在本地或者其他設備上一個或多個日志網關通過DDS訂閱來自日志服務的日志消息；日志網關將日志信息發送到日志存儲服務器或日志分析系統。

進一步地，日志服務發布日志消息到DDS?Topic上；日志網關則訂閱來自日志服務的DDS?Topic。

進一步地，日志服務將本設備上所有日志消息發送到同一個DDS?Topic。

進一步地，日志服務將本設備上的日志消息經過過濾規則篩選后發送到同一個DDS?Topic。