[發(fā)明專利]基于大數(shù)據(jù)的列車運(yùn)行監(jiān)控裝置數(shù)據(jù)的分析系統(tǒng)和方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201711327434.2
• 申請(qǐng)日: 2017-12-13
• 公開（公告）號(hào): CN108132982A
• 公開（公告）日: 2018-06-08
• 發(fā)明（設(shè)計(jì)）人: 言圣;楊獻(xiàn);李璽;梁飛;雷麗萍;鄧勇;周洪毅;唐承余;楊少彬;朱雙嬌;劉曦
• 申請(qǐng)（專利權(quán)）人: 湖南中車時(shí)代通信信號(hào)有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 施浩

本發(fā)明公開了一種基于大數(shù)據(jù)的列車運(yùn)行監(jiān)控裝置數(shù)據(jù)的分析系統(tǒng)和方法，實(shí)現(xiàn)了LKJ裝置的運(yùn)行記錄歷史數(shù)據(jù)集中存儲(chǔ)、數(shù)據(jù)格式化規(guī)范化處理，可以對(duì)海量的LKJ裝置數(shù)據(jù)進(jìn)行分析。其技術(shù)方案為：基于Hadoop生態(tài)圈建立大數(shù)據(jù)平臺(tái)，實(shí)現(xiàn)LKJ裝置的運(yùn)行記錄歷史數(shù)據(jù)的集中存儲(chǔ)、數(shù)據(jù)格式化規(guī)范化處理，數(shù)據(jù)最后存儲(chǔ)在HBase分布式數(shù)據(jù)庫中。再利用Map/Reduce對(duì)HBase分布式數(shù)據(jù)庫中存儲(chǔ)的大量相關(guān)聯(lián)的LKJ運(yùn)行數(shù)據(jù)進(jìn)行分布式運(yùn)算處理，完成海量LKJ數(shù)據(jù)的分析，將分析結(jié)果作為中間數(shù)據(jù)保存在HBase中。再把一部分關(guān)聯(lián)數(shù)據(jù)以及分析得出的中間結(jié)果，通過ETL再加載到分布式數(shù)據(jù)倉庫Hive中，從而分享給所有數(shù)據(jù)集市使用。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)分析，尤其涉及基于大數(shù)據(jù)處理技術(shù)對(duì)列車運(yùn)行監(jiān)控裝置數(shù)據(jù)(LKJ數(shù)據(jù))的數(shù)據(jù)分析系統(tǒng)和方法。

背景技術(shù)

LKJ列控車載設(shè)備直接保障鐵路行車安全，如何利用先進(jìn)的大數(shù)據(jù)技術(shù)實(shí)現(xiàn)列控車載設(shè)備大數(shù)據(jù)分析，提升列車運(yùn)行監(jiān)控裝置的可靠性，延長產(chǎn)品使用壽命，降低運(yùn)營維護(hù)成本，提高維修效率和效能，減少設(shè)備故障率，是當(dāng)前亟待解決的問題。

目前全路LKJ列控設(shè)備的運(yùn)行記錄歷史數(shù)據(jù)(離線和在線)容量已經(jīng)達(dá)到了TB級(jí)，遠(yuǎn)景將達(dá)到PB級(jí)，傳統(tǒng)的數(shù)據(jù)存儲(chǔ)方案已不能滿足既有數(shù)據(jù)的存儲(chǔ)要求。因此有必要系統(tǒng)性建立起LKJ系統(tǒng)大數(shù)據(jù)平臺(tái)，以實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的采集、存儲(chǔ)及規(guī)范化標(biāo)準(zhǔn)化處理。

目前的LKJ設(shè)備質(zhì)量分析、乘務(wù)員操縱分析等系統(tǒng)都是基于單個(gè)LKJ運(yùn)行記錄數(shù)據(jù)文件或趟文件進(jìn)行分析，尚未建立針對(duì)大量運(yùn)行記錄數(shù)據(jù)文、設(shè)備檢修數(shù)據(jù)、人工分析數(shù)據(jù)、列車時(shí)刻表數(shù)據(jù)、運(yùn)行圖數(shù)據(jù)、線路數(shù)據(jù)等多維度數(shù)據(jù)關(guān)聯(lián)的大數(shù)據(jù)分析系統(tǒng)。

發(fā)明內(nèi)容

以下給出一個(gè)或多個(gè)方面的簡要概述以提供對(duì)這些方面的基本理解。此概述不是所有構(gòu)想到的方面的詳盡綜覽，并且既非旨在指認(rèn)出所有方面的關(guān)鍵性或決定性要素亦非試圖界定任何或所有方面的范圍。其唯一的目的是要以簡化形式給出一個(gè)或多個(gè)方面的一些概念以為稍后給出的更加詳細(xì)的描述之序。

本發(fā)明的目的在于解決上述問題，提供了一種基于大數(shù)據(jù)的列車運(yùn)行監(jiān)控裝置數(shù)據(jù)的分析系統(tǒng)和方法，實(shí)現(xiàn)了LKJ裝置的運(yùn)行記錄歷史數(shù)據(jù)集中存儲(chǔ)、數(shù)據(jù)格式化規(guī)范化處理，可以對(duì)海量的LKJ裝置數(shù)據(jù)進(jìn)行分析。

本發(fā)明的技術(shù)方案為：本發(fā)明揭示了一種基于大數(shù)據(jù)的列車運(yùn)行監(jiān)控裝置數(shù)據(jù)的分析系統(tǒng)，包括：

平臺(tái)數(shù)據(jù)接入模塊，用于將列車運(yùn)行監(jiān)控裝置的數(shù)據(jù)接入到系統(tǒng)中；

大數(shù)據(jù)流式處理模塊，對(duì)接入的數(shù)據(jù)進(jìn)行流式處理，將經(jīng)過格式化規(guī)范化處理后的數(shù)據(jù)按照機(jī)車號(hào)或者列車運(yùn)行監(jiān)控裝置的設(shè)備號(hào)在分布式數(shù)據(jù)庫中進(jìn)行列式存儲(chǔ)，其中對(duì)每一個(gè)機(jī)車號(hào)或者列車運(yùn)行監(jiān)控裝置的設(shè)備號(hào)都建立一個(gè)與之對(duì)應(yīng)的表單；

分布式統(tǒng)計(jì)分析模塊，對(duì)分布式數(shù)據(jù)庫中存儲(chǔ)的數(shù)據(jù)進(jìn)行分布式計(jì)算處理，對(duì)同一車型、同一機(jī)車號(hào)的列車運(yùn)行監(jiān)控裝置的設(shè)備狀態(tài)或故障進(jìn)行累計(jì)，按照包括時(shí)間、線路、或故障類型在內(nèi)的不同維度對(duì)設(shè)備狀態(tài)或故障進(jìn)行統(tǒng)計(jì)，實(shí)現(xiàn)設(shè)備狀態(tài)統(tǒng)計(jì)分析，將統(tǒng)計(jì)分析的結(jié)果保存在分布式數(shù)據(jù)倉庫中；

數(shù)據(jù)挖掘模塊，基于分布式數(shù)據(jù)倉庫中的統(tǒng)計(jì)分析結(jié)果和數(shù)據(jù)挖掘模型進(jìn)行數(shù)據(jù)挖掘，形成列車運(yùn)行監(jiān)控裝置數(shù)據(jù)的數(shù)據(jù)分析結(jié)果；

分析結(jié)果輸出模塊，實(shí)現(xiàn)數(shù)據(jù)分析結(jié)果的展示和/或查詢。

根據(jù)本發(fā)明的基于大數(shù)據(jù)的列車運(yùn)行監(jiān)控裝置數(shù)據(jù)的分析系統(tǒng)的一實(shí)施例，平臺(tái)數(shù)據(jù)接入模塊所接入的列車運(yùn)行監(jiān)控裝置的數(shù)據(jù)包括列車運(yùn)行監(jiān)控裝置實(shí)時(shí)運(yùn)行數(shù)據(jù)、列車運(yùn)行監(jiān)控裝置離線數(shù)據(jù)、列車運(yùn)行監(jiān)控裝置相關(guān)數(shù)據(jù)。

根據(jù)本發(fā)明的基于大數(shù)據(jù)的列車運(yùn)行監(jiān)控裝置數(shù)據(jù)的分析系統(tǒng)的一實(shí)施例，分布式數(shù)據(jù)庫是建立在分布式文件系統(tǒng)HDFS上的HBase分布式數(shù)據(jù)庫。