[發明專利]基于軌道交通系統的數據去重方法及裝置

在審

• 申請號: 202211160952.0
• 申請日: 2022-09-22
• 公開（公告）號: CN115794784A
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 劉江;苗東博;簡銳鋒
• 申請（專利權）人: 交控科技股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/27
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 鄭朝然

1.一種基于軌道交通系統的數據去重方法，其特征在于，包括：

基于分布式鎖機制確認軌道交通系統的主節點，以及多個從節點；

在所述主節點部署多個過濾器并進行初始化，生成初始化參數并基于Redis數據庫進行集群配置，并在所述多個從節點基于所述初始化參數對所述過濾器進行初始化；

基于所述多個過濾器進行數據去重處理，得到數據去重結果。

2.根據權利要求1所述的基于軌道交通系統的數據去重方法，其特征在于，所述在所述多個從節點基于所述初始化參數對所述過濾器進行初始化之后，所述方法還包括：

基于預設的第一時間閾值定時競爭節點權限，在所述多個從節點中基于分布式鎖機制確認目標主節點，將所述目標主節點替換所述主節點；

基于所述目標主節點的運行配置對所有績點進行集群內部協調。

3.根據權利要求1所述的基于軌道交通系統的數據去重方法，其特征在于，所述過濾器包括主過濾器和至少兩個備用過濾器；

所述基于所述多個過濾器進行數據去重處理，得到數據去重結果，包括：

基于所述主過濾器和任一備用過濾器校驗數據是否存在，得到校驗結果，并基于所述校驗結果判斷數據是否重復；

基于預設的第二時間閾值對所述主過濾器和至少兩個備用過濾器進行反復切換和回收，以對數據反復進行去重處理，得到數據去重結果。

4.根據權利要求3所述的基于軌道交通系統的數據去重方法，其特征在于，所述基于預設的第二時間閾值對所述主過濾器和至少兩個備用過濾器進行反復切換和回收，以對數據反復進行去重處理，得到數據去重結果，包括：

在每間隔所述預設的第二時間閾值的情況下，對所述主過濾器進行切換，以及對所述備用過濾器進行回收，并將新的所述備用過濾器設置為目標主過濾器，并相應生成切換標識、回收標識以及新設目標標識；

基于所述切換標識、回收標識以及新設目標標識，對數據進行多次去重處理，得到所述數據去重結果。

5.根據權利要求1所述的基于軌道交通系統的數據去重方法，其特征在于，所述在所述主節點部署多個過濾器并進行初始化，生成初始化參數并基于Redis數據庫進行集群配置，包括：

在所述主節點部署多個過濾器并進行初始化，生成所述初始化參數并存儲至Redis數據庫中，基于Redis數據庫指定的目標key進行集群配置；

所述在所述多個從節點基于所述初始化參數對所述過濾器進行初始化，包括：

從所述Redis數據庫中調用所述初始化參數，基于所述初始化參數對所述從節點的多個過濾器進行初始化。

6.根據權利要求1所述的基于軌道交通系統的數據去重方法，其特征在于，所述在所述多個從節點基于所述初始化參數對所述過濾器進行初始化，包括：

基于開源消息代理軟件進行消息通知，將所述主節點的初始化參數發送至多個所述從節點；

通過所述多個從節點監聽所述開源消息代理軟件，接收所述主節點發送的初始化參數，基于所述初始化參數對所述過濾器進行初始化。

7.一種基于軌道交通系統的數據去重裝置，其特征在于，包括：

節點確認模塊，用于基于分布式鎖機制確認軌道交通系統的主節點，以及多個從節點；

初始化模塊，用于在所述主節點部署多個過濾器并進行初始化，生成初始化參數并基于Redis數據庫進行集群配置，并在所述多個從節點基于所述初始化參數對所述過濾器進行初始化；

去重模塊，用于基于所述多個過濾器進行數據去重處理，得到數據去重結果。

8.一種電子設備，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1至6任一項所述基于軌道交通系統的數據去重方法。

9.一種非暫態計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述基于軌道交通系統的數據去重方法。

10.一種計算機程序產品，包括計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至6任一項所述基于軌道交通系統的數據去重方法。