[發明專利]基于軌道交通系統的數據去重方法及裝置

在審

• 申請號: 202211160952.0
• 申請日: 2022-09-22
• 公開（公告）號: CN115794784A
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 劉江;苗東博;簡銳鋒
• 申請（專利權）人: 交控科技股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/27
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 鄭朝然

本發明提供一種基于軌道交通系統的數據去重方法及裝置，方法包括：基于分布式鎖機制確認軌道交通系統的主節點，以及多個從節點；在所述主節點部署多個過濾器并進行初始化，生成初始化參數并基于Redis數據庫進行集群配置，并在所述多個從節點基于所述初始化參數對所述過濾器進行初始化；基于所述多個過濾器進行數據去重處理，得到數據去重結果。本發明實現了通過多節點分布式去重，提高去重準確度和效率。

技術領域

本發明涉及軌道交通信息技術領域，尤其涉及一種基于軌道交通系統的數據去重方法及裝置。

背景技術

隨著城市化進程的快速推進，軌道交通技術呈現出日新月異的發展趨勢，為響應國家倡導綠色出行的政策，公共軌道交通的建設越來越多。

在軌道交通的發展越來越成熟，車輛、軌旁等設備越來越多的情況下，越來越多的狀態數據需要上報，但是大量的數據增加了分析計算的難度。為了降低難度，我們通常會增加去重處理的步驟，以將相近時間段中相似度高的數據刪除，而數據去重過程中去重的方式和準確度對數據有很大影響。

因此，如何提高軌道交通系統中數據的去重準確度和效率，是當前亟需解決的技術問題。

發明內容

本發明提供一種基于軌道交通系統的數據去重方法及裝置，用以解決現有技術中軌道交通系統中數據去重過程中去重的方式和準確度對數據有很大影響的缺陷，實現通過多節點分布式去重，提高去重準確度和效率。

本發明提供一種基于軌道交通系統的數據去重方法，包括：

基于分布式鎖機制確認軌道交通系統的主節點，以及多個從節點；

在所述主節點部署多個過濾器并進行初始化，生成初始化參數并基于Redis數據庫進行集群配置，并在所述多個從節點基于所述初始化參數對所述過濾器進行初始化；

基于所述多個過濾器進行數據去重處理，得到數據去重結果。

根據本發明提供的一種基于軌道交通系統的數據去重方法，所述在所述多個從節點基于所述初始化參數對所述過濾器進行初始化之后，所述方法還包括：

基于預設的第一時間閾值定時競爭節點權限，在所述多個從節點中基于分布式鎖機制確認目標主節點，將所述目標主節點替換所述主節點；

基于所述目標主節點的運行配置對所有績點進行集群內部協調。

根據本發明提供的一種基于軌道交通系統的數據去重方法，所述過濾器包括主過濾器和至少兩個備用過濾器；

所述基于所述多個過濾器進行數據去重處理，得到數據去重結果，包括：

基于所述主過濾器和任一備用過濾器校驗數據是否存在，得到校驗結果，并基于所述校驗結果判斷數據是否重復；

基于預設的第二時間閾值對所述主過濾器和至少兩個備用過濾器進行反復切換和回收，以對數據反復進行去重處理，得到數據去重結果。

根據本發明提供的一種基于軌道交通系統的數據去重方法，所述基于預設的第二時間閾值對所述主過濾器和至少兩個備用過濾器進行反復切換和回收，以對數據反復進行去重處理，得到數據去重結果，包括：

在每間隔所述預設的第二時間閾值的情況下，對所述主過濾器進行切換，以及對所述備用過濾器進行回收，并將新的所述備用過濾器設置為目標主過濾器，并相應生成切換標識、回收標識以及新設目標標識；

基于所述切換標識、回收標識以及新設目標標識，對數據進行多次去重處理，得到所述數據去重結果。

根據本發明提供的一種基于軌道交通系統的數據去重方法，所述在所述主節點部署多個過濾器并進行初始化，生成初始化參數并基于Redis數據庫進行集群配置，包括：