[發明專利]數據分布式接收及分析方法及系統

在審

• 申請號: 201710005865.0
• 申請日: 2017-01-04
• 公開（公告）號: CN106850763A
• 公開（公告）日: 2017-06-13
• 發明（設計）人: 劉志祥;程俊威
• 申請（專利權）人: 千尋位置網絡有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 上海市海華永泰律師事務所31302
• 代理人: 包文超

技術領域

本發明涉及一種數據接收及分析方法，尤其是一種數據分布式接收及分析方法及系統。

背景技術

隨著計算機的出現和普及，海量的信息以數字化形式存在于網絡各處，科學數據、醫療數據、人口統計數據、金融數據等等，這些數據也吸引了大量的網絡攻擊。并且隨著網絡攻擊越來越多，越來越復雜，相關的安全事件數據種類繁多，數據結構也是及其復雜的。

目前，對于數據的接收通常都是拷貝到一個系統，再對數據進行分析，沒有利用大數據存儲的便利，如果日志服務器很多，將會增加很多工作量，也會花費很多時間。

發明內容

針對現有技術中的缺陷，本發明目的在于提供了一種減少工作量提高工作效率的數據分布式接收及分析方法及系統。

為解決上述技術問題，本發明數據分布式接收及分析方法，包括：步驟1，分布式收集數據；步驟2，下載收集的數據，并對下載的數據進行分布式分析；步驟3，儲存經過分布式分析的數據。

優選地，步驟1包括如下步驟：步驟1.1，分布式收集數據以形成日志文件；步驟1.2，將日志文件上傳。

優選地，步驟1.1中，通過開源軟件RTKLIB分布式收集數據以形成日志文件。

優選地，步驟2包括如下步驟：步驟2.1，定時查詢上傳的日志文件，當查詢到與預設條件相吻合的日志文件時，下載該日志文件；步驟2.2，對下載的日志文件進行分布式處理。

優選地，步驟2.1中，預設條件包括時間和類型。

優選地，步驟2.2中，分布式處理包括對時間、固定率或精度進行解算。

優選地，日志文件包括時間、狀態、經緯度、高度及精度。

優選地，還包括步驟4，顯示經過分布式分析的數據。

數據系統，包括：云存儲服務模塊，云存儲服務模塊從多個日志服務器中分布式收集數據；分布式分析模塊，分布式分析模塊從云存儲服務模塊中下載數據，并對下載的數據進行分布式分析；存儲模塊，存儲模塊接收從分布式分析模塊上傳的經過分布式分析的數據；顯示模塊，顯示模塊顯示經過分布式分析的數據。

優選地，云存儲服務模塊為運營支撐系統；存儲模塊為云數據庫。

本發明數據分布式接收及分析方法及系統提供多點收集數據并上傳到云存儲，收集數據的端可以海量部署，這樣提高了數據的存儲與分析速度，對于相對復雜的數據的存儲與分析變得簡單、容易，并且存儲與分析可以根據需要各自進行線性擴展與改進，使得分析系統性能達到最優。

附圖說明

通過閱讀參照以下附圖對非限制性實施例所作的詳細描述，本發明的其它特征目的和優點將會變得更明顯。

圖1為本發明數據分布式接收及分析方法流程圖；

圖2為本發明數據系統原理圖。

具體實施方式

下面結合具體實施例對本發明進行詳細說明。以下實施例將有助于本領域的技術人員進一步理解本發明，但不以任何形式限制本發明。應當指出的是，對本領域的普通技術人員來說，在不脫離本發明構思的前提下，還可以做出若干變化和改進。這些都屬于本發明的保護范圍。

本發明提供多點收集數據并上傳到云存儲，收集數據的端可以海量部署，分析數據時，從云存儲下載數據并進行分析，分析匯總的數據存儲到分布式數據存儲系統。

如圖1、圖2所示，本發明數據分布式接收及分析方法，包括：步驟1，分布式收集數據；步驟2，下載收集的數據，并對下載的數據進行分布式分析；步驟3，儲存經過分布式分析的數據。

步驟1包括如下步驟：步驟1.1，分布式收集數據并將收集的數據匯總形成日志文件；步驟1.2，將日志文件上傳。

步驟1.1中，通過開源軟件RTKLIB分布式收集數據并將收集的數據匯總形成日志文件。

步驟2包括如下步驟：步驟2.1，定時查詢上傳的日志文件，當查詢到與預設條件相吻合的日志文件時，下載該日志文件；步驟2.2，對下載的日志文件進行分布式處理。

步驟2.1中，預設條件包括時間和類型。

步驟2.2中，分布式處理包括對時間、固定率或精度進行解算。

日志文件包括時間、狀態、經緯度、高度及精度。

還包括步驟4，顯示經過分布式分析的數據。

數據系統，包括：云存儲服務模塊，云存儲服務模塊從多個日志服務器中分布式收集數據；分布式分析模塊，分布式分析模塊從云存儲服務模塊中下載數據，并對下載的數據進行分布式分析；存儲模塊，存儲模塊接收從分布式分析模塊上傳的經過分布式分析的數據；顯示模塊，顯示模塊顯示經過分布式分析的數據。