[發明專利]海量平臺海迅實時庫量測數據接入系統

有效

• 申請號: 201710391303.4
• 申請日: 2017-05-27
• 公開（公告）號: CN107357809B
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 吳軍英;辛銳;周文芳;路欣;劉宏;高麗芳;曹明;陳連棟;陳方正;黃鏡宇
• 申請（專利權）人: 國家電網公司;國網河北省電力公司信息通信分公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/215
• 代理公司: 石家莊眾志華清知識產權事務所(特殊普通合伙) 13123
• 代理人: 張明月

1.一種海量平臺海迅實時庫量測數據接入系統，其特征在于：包括依次對應的控制模塊、接入業務模塊和通用模塊，其中控制模塊用于與數據總線接口進行交互，并對從數據總線接口提取的接收數據進行預處理，形成業務日志；接入業務模塊用于對業務日志進行加工、保存、緩存和備份，形成后端日志文件，其具體步驟為數據加工：根據數據接入的多樣性需求，根據不同側面特性對業務日志中的日志數據加以描述，為日志數據提供可配置的加工規則加載，以匹配日志數據接入時的不同需求；數據周期性寫入：將經加工后的日志數據，按照固定的頻率向海量平臺海迅實時庫進行數據寫入操作；數據保存：將寫入的日志數據適配到海量平臺海迅實時庫中，并進行日志數據封裝；數據緩存：將寫入的日志數據暫時性的保存在緩存區中以供讀取和再讀取操作，緩存區包括本地緩存區和備機緩存區，本地緩存區用以當內存隊列已滿時，日志數據第一優先保存的位置，確保日志數據安全；備機緩存區，用于當本地緩存區已滿時，日志數據第二優先保存的位置；備份加載：用于加載經過數據緩存后的數據，包括本地數據加載區和備機數據加載區，本地數據加載區用于當主機負載下降、處理能力上升時，優先加載處理的緩存數據位置；備機數據加載區用于當主機負載下降、處理能力上升時，第二優先加載處理的緩存數據位置；通用模塊用于將形成的后端日志文件進行前端操作處理。

2.根據權利要求1所述的海量平臺海迅實時庫量測數據接入系統，其特征在于控制模塊的處理步驟為：

步驟2.1、數據響應分發：與數據總線接口交互對應連接，用于響應、分發接收數據，形成調用數據；

步驟2.2、數據預處理：對調用數據進行預處理，首先對調用數據進行解析轉換處理，然后驗證調用數據的合法性、完整性和有效性，借此過濾掉非法數據，避免無謂的計算資源浪費，形成有效數據；

步驟2.3、數據質量檢查：根據數據質量檢查規則，為有效數據對應指定檢查規則，驗證其是否達到接入質量要求，同時設有黑名單/白名單機制，為有特殊需求的有效數據開辟綠色通道；

步驟2.4、業務調度控制：根據數據類型，將通過驗證的有效數據進行對應性分發；

步驟2.5、業務日志處理：處理業務調度控制步驟分發的有效數據，形成業務日志，同時對業務日志的規則進行加載，并記錄業務日志的執行情況。

3.根據權利要求2所述的海量平臺海迅實時庫量測數據接入系統，其特征在于：數據質量檢查規則包括數據范圍檢查和數據異常值檢查。

4.根據權利要求1所述的海量平臺海迅實時庫量測數據接入系統，其特征在于數據加工的處理步驟為：

加工規則加載：將配置的數據加工規則加載至系統中，并進行應用；

數據分類：對數據進行分類，按數據的不同側面特性，將數據分配給加載不同加工規則的數據處理器；

數據加工：對應不同數據數據處理器，依照數據加工規則，對數據進行加工處理；

特殊數據處理：提供特殊處理規則，應對有某些特殊性、非通用性、非標準的數據處理要求。

5.根據權利要求1所述的海量平臺海迅實時庫量測數據接入系統，其特征在于步驟中數據周期性寫入的過程為：首先連接海量平臺海迅實時庫，然后抽取待寫入的測點數據，并根據測點數據中的測點名稱查詢測點ID，待寫入測點數據值后斷開海量平臺海迅實時庫連接。

6.根據權利要求5所述的海量平臺海迅實時庫量測數據接入系統，其特征在于步驟數據周期性寫入過程中還設有異常處理步驟和歷史數據回寫步驟，其中：

異常處理步驟：在連接海量平臺海迅實時庫時，負責監測接口服務的運行狀態和接口服務的寫值異常情況，保證數據寫入的一致性和完整性；

歷史數據回寫步驟：在寫入測點數據值時，通過定時任務與SQL的結合對之前未完全寫入、存在遺漏和需要修改的數據，進行回寫，保證數據的完整性。

7.根據權利要求6所述的海量平臺海迅實時庫量測數據接入系統，其特征在于：在進行歷史數據回寫步驟前先進行數據校驗，數據校驗采用人工校驗和自動化校驗相結合的方式。