[發明專利]基于大數據的列車運行監控裝置數據的分析系統和方法

在審

• 申請號: 201711327434.2
• 申請日: 2017-12-13
• 公開（公告）號: CN108132982A
• 公開（公告）日: 2018-06-08
• 發明（設計）人: 言圣;楊獻;李璽;梁飛;雷麗萍;鄧勇;周洪毅;唐承余;楊少彬;朱雙嬌;劉曦
• 申請（專利權）人: 湖南中車時代通信信號有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 施浩

本發明公開了一種基于大數據的列車運行監控裝置數據的分析系統和方法，實現了LKJ裝置的運行記錄歷史數據集中存儲、數據格式化規范化處理，可以對海量的LKJ裝置數據進行分析。其技術方案為：基于Hadoop生態圈建立大數據平臺，實現LKJ裝置的運行記錄歷史數據的集中存儲、數據格式化規范化處理，數據最后存儲在HBase分布式數據庫中。再利用Map/Reduce對HBase分布式數據庫中存儲的大量相關聯的LKJ運行數據進行分布式運算處理，完成海量LKJ數據的分析，將分析結果作為中間數據保存在HBase中。再把一部分關聯數據以及分析得出的中間結果，通過ETL再加載到分布式數據倉庫Hive中，從而分享給所有數據集市使用。

技術領域

本發明涉及數據分析，尤其涉及基于大數據處理技術對列車運行監控裝置數據(LKJ數據)的數據分析系統和方法。

背景技術

LKJ列控車載設備直接保障鐵路行車安全，如何利用先進的大數據技術實現列控車載設備大數據分析，提升列車運行監控裝置的可靠性，延長產品使用壽命，降低運營維護成本，提高維修效率和效能，減少設備故障率，是當前亟待解決的問題。

目前全路LKJ列控設備的運行記錄歷史數據(離線和在線)容量已經達到了TB級，遠景將達到PB級，傳統的數據存儲方案已不能滿足既有數據的存儲要求。因此有必要系統性建立起LKJ系統大數據平臺，以實現對海量數據的采集、存儲及規范化標準化處理。

目前的LKJ設備質量分析、乘務員操縱分析等系統都是基于單個LKJ運行記錄數據文件或趟文件進行分析，尚未建立針對大量運行記錄數據文、設備檢修數據、人工分析數據、列車時刻表數據、運行圖數據、線路數據等多維度數據關聯的大數據分析系統。

發明內容

以下給出一個或多個方面的簡要概述以提供對這些方面的基本理解。此概述不是所有構想到的方面的詳盡綜覽，并且既非旨在指認出所有方面的關鍵性或決定性要素亦非試圖界定任何或所有方面的范圍。其唯一的目的是要以簡化形式給出一個或多個方面的一些概念以為稍后給出的更加詳細的描述之序。

本發明的目的在于解決上述問題，提供了一種基于大數據的列車運行監控裝置數據的分析系統和方法，實現了LKJ裝置的運行記錄歷史數據集中存儲、數據格式化規范化處理，可以對海量的LKJ裝置數據進行分析。

本發明的技術方案為：本發明揭示了一種基于大數據的列車運行監控裝置數據的分析系統，包括：

平臺數據接入模塊，用于將列車運行監控裝置的數據接入到系統中；

大數據流式處理模塊，對接入的數據進行流式處理，將經過格式化規范化處理后的數據按照機車號或者列車運行監控裝置的設備號在分布式數據庫中進行列式存儲，其中對每一個機車號或者列車運行監控裝置的設備號都建立一個與之對應的表單；

分布式統計分析模塊，對分布式數據庫中存儲的數據進行分布式計算處理，對同一車型、同一機車號的列車運行監控裝置的設備狀態或故障進行累計，按照包括時間、線路、或故障類型在內的不同維度對設備狀態或故障進行統計，實現設備狀態統計分析，將統計分析的結果保存在分布式數據倉庫中；

數據挖掘模塊，基于分布式數據倉庫中的統計分析結果和數據挖掘模型進行數據挖掘，形成列車運行監控裝置數據的數據分析結果；

分析結果輸出模塊，實現數據分析結果的展示和/或查詢。

根據本發明的基于大數據的列車運行監控裝置數據的分析系統的一實施例，平臺數據接入模塊所接入的列車運行監控裝置的數據包括列車運行監控裝置實時運行數據、列車運行監控裝置離線數據、列車運行監控裝置相關數據。

根據本發明的基于大數據的列車運行監控裝置數據的分析系統的一實施例，分布式數據庫是建立在分布式文件系統HDFS上的HBase分布式數據庫。