[發明專利]一種基于消息總線的電能表數據處理方法、系統和電能表

有效

• 申請號: 202110050403.7
• 申請日: 2021-01-14
• 公開（公告）號: CN112804331B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 彭中華;汪揚
• 申請（專利權）人: 杭州海興澤科信息技術有限公司;杭州海興電力科技股份有限公司;寧波恒力達科技有限公司;南京海興電網技術有限公司
• 主分類號: H04L67/565
• 分類號: H04L67/565;H04L67/568;H04L67/1097;H04Q9/00;G06F16/22;G06F16/23;G06F16/242;G06F16/2455
• 代理公司: 杭州裕陽聯合專利代理有限公司 33289
• 代理人: 田金霞

本發明公開了一種基于消息總線的電能表數據處理方法和系統，所述方法包括如下步驟：向kafka總線中寫入原始數據，所述原始數據包括HES數據轉存程序從kafka總線中讀取HES數據，并將所述HES數據轉換成中間數據；將所述中間數據寫入到所述kafka總線；批量讀取kafka總線中的中間數據，并將所述中間數據進行轉換、合并；將轉換合并后的中間數據寫入數據庫中。所述方法和系統基于kafka總線的分布式發布?訂閱消息系統，通過分布式的，可劃分的，冗余備份的持久性的日志服務，可提高數據在各個子系統中的流轉性能，并降低數據延遲。

技術領域

本發明涉及電能表領域，特別涉及一種基于消息總線的電能表數據處理方法和系統。

背景技術

用電采集系統需要接入大量的設備，采集的數據非常密集，保存的數據量非常大。現有技術中采用merge(replac)操作，具體采集后的處理方法為：對于采集結果，分析處理后，在第一次寫入數據庫時，使用merge(replace)操作；在第二批及之后的數據采集處理入庫時，依然使用merge(replace)操作對比，寫入新的數據，并替換同一設備同一時間的數據。采集過程中，設備信息全部加載到緩存中，在收到請求時，多個相同應用會重復處理請求并下發。在收到返回結果后，應用需多次將請求中間狀態寫入數據庫，最后在請求徹底結束后返回給調用方。而上述采集后處理方法存在如下問題：1、頻繁使用merge(replace)操作，數據寫入數據庫的速度較慢；2、記錄抄表成功率時，頻繁操作數據庫，性能較差；3、處理中間狀態時，頻繁操作數據庫；4、批量部署時存在重復操作請求的情況；5、不能充分發揮多程序處理的優勢。

發明內容

本發明其中一個發明目的在于提供一種基于消息總線的電能表數據處理方法、系統和電能表，所述方法和系統基于kafka總線的分布式發布-訂閱消息系統，通過分布式的，可劃分的，冗余備份的持久性的日志服務，可提高數據在各個子系統中的流轉性能，并降低數據延遲。

本發明另一個發明目的在于提供一種基于消息總線的電能表數據處理方法、系統和電能表，所述方法和系統不直接處理數據庫，通過轉存程序讀取kafka總線上的數據進行處理后再寫入kafka總線，從而可以避免抄表過程中頻繁操作數據帶來的性能損耗。

本發明再一個發明目的在于提供一種基于消息總線的電能表數據處理方法、系統和電能表，所述方法和系統采用UA程序處理不同程序以及第三方程序的請求，所述UA程序將請求轉化為HES可識別的請求，并將處理時使用的數據和狀態保存于kafka總線中，從而可以在獲取相同請求時快速響應，提高數據處理效率。

本發明另一個發明目的在于提供一種基于消息總線的電能表數據處理方法、系統和電能表，所述方法和系統通過DP程序處理數據庫中保存的定時策略，在處理定時策略的過程中將DP程序需要用到的數據和狀態保存于kafka總線中，從而可以在獲取相同請求時快速響應，提高數據處理效率。

為了實現至少一個上述發明目的，本發明進一步提供一種基于消息總線的電能表數據處理方法，所述方法包括如下步驟：

向kafka總線中寫入原始數據，所述原始數據包括HES數據；

轉存程序從kafka總線中讀取HES數據，并將所述HES數據轉換成中間數據；

將所述中間數據寫入到所述kafka總線；

批量讀取kafka總線中的中間數據，并將所述中間數據進行轉換、合并；

將轉換合并后的中間數據寫入數據庫中。

根據本發明其中一個較佳實施例，UA程序、HES程序和DP程序定時從數據庫加載檔案和量綱信息，并從kafka總線中查找電能表設備上下文，若查找失敗則新建電能表設備上下文并將新建的電能表設備上下文更新到kakfa總線中。