[發明專利]分布式數據采集方法及裝置

在審

• 申請號: 201711374664.4
• 申請日: 2017-12-19
• 公開（公告）號: CN108134745A
• 公開（公告）日: 2018-06-08
• 發明（設計）人: 智國盛;李健;唐建林;楊自玲
• 申請（專利權）人: 深圳交控科技有限公司
• 主分類號: H04L12/803
• 分類號: H04L12/803;H04L29/08
• 代理公司: 深圳市恒申知識產權事務所(普通合伙) 44312
• 代理人: 袁文英

本發明公開了一種分布式數據采集方法及裝置，方法包括：采集已生成的消息數據，并將采集到的消息數據發送至預置的前置消息隊列，利用預置的負載均衡器將上述前置消息隊列中的消息數據按照預設的數據分發方式分發至預設的各個消息中間件，然后解析各個消息中間件中的子消息數據，將解析后的子消息數據保存至預置的經過讀寫分離處理的數據庫。相較于現有技術而言，本發明可以分解消息數據的傳輸壓力，上述數據庫預先經過讀寫分離處理，可具有較高的數據處理性能，從而可以解決現有技術中軌道交通信號設備自動監測系統在采集數據較大時會出現中間件堵塞，數據處理不及時，導致整個系統的性能較差的技術問題。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種分布式數據采集方法及裝置。

背景技術

隨著軌道交通的迅猛發展，計算機技術的快速提高，將計算機技術合理應用于軌道交通領域已越來越成為規定交通發展的趨勢。

對于軌道交通的信號系統中各種設備的維護方式，正逐步由人工檢測、定期維修向著綜合設備實時監測并自動派發維修工單的模式轉變。但這種轉變需要海量的監測數據，而在軌道交通信號設備自動監測系統中，各種采集數據一般由中間件進行數據轉發，這種方案在數據量比較小的時候可以滿足系統需求，但當采集數據較大時則會出現中間件堵塞，數據處理不及時等各種問題，影響整個自動檢測系統的性能。

發明內容

本發明的主要目的在于提供一種分布式數據采集方法及裝置，旨在解決現有的軌道交通信號設備自動監測系統在采集數據較大時會出現中間件堵塞，數據處理不及時，導致整個系統的性能較差的技術問題。

為實現上述目的，本發明第一方面提供一種分布式數據采集方法，該方法包括：

采集已生成的消息數據，并將采集到的消息數據發送至預置的前置消息隊列；

利用預置的負載均衡器將所述前置消息隊列中的消息數據按照預設的數據分發方式分發至預設的各個消息中間件；

解析所述各個消息中間件中的子消息數據，將解析后的子消息數據保存至預置的經過讀寫分離處理的數據庫。

可選的，所述利用預置的負載均衡器將所述前置消息隊列中的消息數據按照預設的數據分發方式分發至預設的各個消息中間件的步驟之前還包括：

監測所述前置消息隊列是否接收到所述消息數據；

當所述前置消息隊列接收到所述消息數據時，則執行所述利用預置的負載均衡器將所述前置消息隊列中的消息數據按照預設的數據分發方式分發至預設的各個消息中間件的步驟。

可選的，所述利用預置的負載均衡器將所述前置消息隊列中的消息數據按照預設的數據分發方式分發至預設的各個消息中間件的步驟包括：

檢測所述各個消息中間件可接收的最大消息數據量；

基于所述各個消息中間件可接收的最大消息數據量，利用所述負載均衡器將所述前置消息隊列中的消息數據分發至所述各個消息中間件。

可選的，所述解析所述各個消息中間件中的子消息數據的步驟之前還包括：

監測所述各個消息中間件中是否存在至少一個有新的子消息數據生成的消息中間件；

若所述各個消息中間件中存在至少一個有新的子消息數據生成的消息中間件，則執行解析所述各個消息中間件中的子消息數據的步驟。

可選的，所述解析所述各個消息中間件中的子消息數據，將解析后的子消息數據保存至預置的經過讀寫分離處理的數據庫的步驟包括：

解析所述各個消息中間件中的子消息數據，將解析后的子消息數據緩存至預設的存儲器內；

每隔預設的時間間隔，將所述存儲器內緩存的子消息數據保存至所述數據庫。