[發明專利]基于Hadoop的軌檢數據服務系統

在審

• 申請號: 202210648201.7
• 申請日: 2022-06-09
• 公開（公告）號: CN114936224A
• 公開（公告）日: 2022-08-23
• 發明（設計）人: 朱洪濤;朱磊;陶捷;王志勇;吳維軍;張苗苗
• 申請（專利權）人: 江西日月明測控科技股份有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/2455;G06F16/27
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 何世磊

本發明提供一種基于Hadoop的軌檢數據服務系統，包括：數據采集模塊，用于采集各軌檢設備的當前軌檢數據；數據處理模塊包括數據對齊單元及數據處理單元，數據對齊單元用于利用歷史軌檢數據對各當前軌檢數據進行局部插值及壓縮，以實現歷史軌檢數據和各當前軌檢數據的特征點匹配，進而得到數據對齊的軌檢數據；數據處理單元用于將數據對齊的軌檢數據進行數據預處理，以得到多組預處理的軌檢數據，并對多組預處理的軌檢數據進行分布式處理，以實現用戶與各軌檢設備的信息交互。本發明通過數據對齊單元將各當前軌檢數據與歷史軌檢數據以特征點為標志進行數據對齊，為后續數據分析排除里程誤差干擾；通過分布式處理提高軌檢數據的高效利用以及分類管理。

技術領域

本發明涉及數據處理技術領域，特別涉及一種基于Hadoop的軌檢數據服務系統。

背景技術

“互聯網+”已然成為當前我國各產業共同發展的重大策略?；ヂ摼W、大數據、云計算等高科技信息技術發展迅猛，“互聯網+”將這些信息技術與各領域融合，使傳統業務數據化、在線化，實現了傳統產業的創新與轉型。

以往對軌道檢測數據的分析與處理基本是基于單機或C/S架構的模式，容易形成“信息孤島”，基礎數據難以系統性地分類保存，形成的分析結果不夠全面、不具宏觀性。借助于當下“互聯網+”的新技術將大量的軌道檢測數據通過互聯網匯集到一塊進行系統性分類存儲和挖掘分析，打破“信息孤島”壁壘，形成統一的大數據分析云平臺，提供全面、宏觀的數據可視化分析結果，已成為當下軌檢數據挖掘分析的發展方向和市場熱點。

軌檢數據服務平臺是順應當前社會信息化技術高水平發展、服務軌道檢測系統改革的數據平臺。它的主要目的是強化軌道檢測分析，建立規范化管理體系，推進軌道系統數據之間的共享和各業務之間的相互配合，為決策提供高效、精準、牢靠的數據依據，提高軌道維護工作的預見性和針對性。當前軌檢信息的管理存在一些問題：

(1)不能滿足軌道檢測各項業務產生的各類文件的高效存儲和分類管理，各類不同信息的兼容性較差，無法做到統一訪問、高效率的精確查詢與統計，這是當前軌檢信息的一大弊??；

(2)各類數據沒有做到分層管理，在使用上也比較混亂，沒有統一的數據存儲管理中心和數據應用平臺；

(3)應用業務與應用模式沒有良好的可擴展性，不能分階段地完善平臺業務功能；

(4)兼容性較差，無法與其他的信息系統較好地融合在一起，系統運維成本較高；

(5)對數據的價值挖掘不足，無法深度探索和發現隱藏在海量數據之中的模式、規律和關系，無法從低價值密度的數據中萃取高價值密度的知識，處在“數據有余，信息不足”的階段；

(6)沒有良好的容災能力，數據中心自動瞬時故障轉移能力較弱，數據的安全性得不到保障。

發明內容

基于此，本發明的目的是提供一種基于Hadoop的軌檢數據服務系統，以至少解決上述技術中的不足。

本發明提出一種基于Hadoop的軌檢數據服務系統，包括數據采集模塊以及數據處理模塊：

所述數據采集模塊，用于采集各軌檢設備的當前軌檢數據；

所述數據處理模塊，包括數據對齊單元以及數據處理單元，所述數據對齊單元用于利用歷史軌檢數據對各所述當前軌檢數據進行局部插值及壓縮，以實現所述歷史軌檢數據和各所述當前軌檢數據的特征點匹配，進而得到數據對齊的軌檢數據；

所述數據處理單元用于將所述數據對齊的軌檢數據進行數據預處理，以得到多組預處理的軌檢數據，并對所述多組預處理的軌檢數據進行分布式處理，以判斷所述數據對齊的軌檢數據是否符合預設要求，若所述數據對齊的軌檢數據符合預設要求，則生成對應的數據報表，以實現用戶與各所述軌檢設備的信息交互。