[發明專利]一種異常數據處理方法及系統

有效

• 申請號: 201310174967.7
• 申請日: 2013-05-13
• 公開（公告）號: CN103246735A
• 公開（公告）日: 2013-08-14
• 發明（設計）人: 李寧;許宜;潘玉峰;劉姍姍;徐煒;葉優聰
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 宋焰琴

技術領域

本發明涉及數據處理技術領域，特別涉及一種異常數據處理方法和系統。

背景技術

目前，信息系統有數據流跨系統、跨部門的特點。各個系統對上、下游、系統內部的異常數據，通常使用日志處理機制進行處理。

當異常結果發生時，用戶只能人工通過查詢分散在海量日志中的異常數據記錄，以分析、判斷異常結果產生的原因。對于隱蔽的異常結果，系統缺乏有效的發現、分析能力。

在異常數據處理流程上，系統局限在暫停處理、等待人工解決，或者跳過該數據處理等方式進行。當處理以定時批量自動執行為主、且對處理結果實時性要求較高的情況時，往往導致問題解決的實效差等問題，無法實現異常數據的自動處理，異常結果后處理等功能。

因此，如何提高異常數據的處理效率是迫切要解決的技術問題。

發明內容

為了克服現有技術中的上述缺陷，本發明提供了一種異常數據處理方法及系統，當異常事件發生時，通過收集異常數據，動態選擇對應的措施，然后根據相應的措施自動對異常數據進行處理，這是對異常數據分布采集，集中處理的一種方法和系統。

本發明的異常數據處理系統包括相互連接的異常數據客戶端和異常數據處理服務端，其中，異常數據客戶端進一步包括：異常事件檢測裝置(1)，用于在當異常事件發生后，生成一個異常事件發生消息傳入異常數據收集處理裝置(2)；異常數據收集處理裝置(2)，用于根據異常事件的事件標識、模塊代碼查詢事件定義庫裝置(3)，生成異常事件實例，根據異常事件實例屬性信息及異常產生的原因，搜索措施定義庫裝置(4)，找到針對此事件的措施定義信息；事件定義庫(3)，用于定義系統各個單元可能發生的事件集合，并提供用戶維護功能；措施定義庫(4)，用于定義系統針對事件定義庫(3)定義的事件，，并提供用戶維護以及自我學習新增措施的功能；措施執行增補裝置(5)，用于執行異常數據收集處理裝置(2)所產生的措施；異常數據處理服務端，用于接受并保存來自異常數據客戶端的異常數據記錄，并提供用戶對異常數據分析、統計功能。

本發明還提供了一種異常數據處理方法，該方法包括步驟：步驟1，異常事件檢測裝置(1)在當異常事件發生后生成一個異常事件發生消息傳入異常數據收集處理裝置(2)；步驟2，異常數據收集處理裝置根據異常事件的事件標識、模塊代碼查詢事件定義庫裝置(3)，生成異常事件實例，根據異常事件實例屬性信息及異常產生的原因，搜索措施定義庫裝置(4)，找到針對此事件的措施定義信息；步驟4，措施執行增補裝置(5)執行異常數據收集處理裝置(2)所產生的措施；其中，事件定義庫(3)，用于定義系統各個單元可能發生的事件集合，并提供用戶維護功能；措施定義庫(4)，用于定義系統針對事件定義庫(3)定義的事件，，并提供用戶維護以及自我學習新增措施的功能。

本發明的異常數據處理方法和系統采用了分布-集中式體系結構，有效地解決了數據流跨系統、跨部門的問題，主要從如下三個方面進行實現：1)使用具有自我學習功能的措施定義庫，使異常數據處理自動化、智能化，避免了人工干預，提高了數據異常處理的響應速度，降低了處理時間；2)采用事件驅動的設計模式，由產生異常的模塊觸發異常數據處理流程，降低了對系統資源的占用率，提高了處理效率；3)提供了HTTP協議、文件傳輸、系統內部通訊等異常數據登記模式，將分散在各個系統的異常數據進行集中分析、處理，解決了異常數據分散管理的問題。

附圖說明

圖1為本發明異常數據處理系統的結構框圖；

圖2為本發明異常數據處理系統中異常數據收集處理裝置的結構框圖；

圖3為本發明異常數據處理系統中數據事后處理裝置的結構框圖；

圖4為本發明異常數據處理方法流程圖；

圖5為本發明異常數據統計流程圖。

具體實施方式

為使本發明的目的、技術方案和優點更加清楚明白，以下結合具體實施例，并參照附圖，對本發明進一步詳細說明。

本發明主要是涉及應用系統中對于異常數據的處理機制，尤其是針對業務意義較大的數據，提供可預先定義和分析的異常數據處理。本發明的異常數據處理方法和系統的工作原理，是在發生異常事件時啟動異常數據處理流程，收集相關的異常數據信息，對異常數據進行分析和登記，然后動態選擇相應的處理措施進行處理。措施中定義了異常數據處理規則表達式，將表達式與描述性的語言相結合，形成完整清晰的定義信息。如果措施未定義，則對數據特征進行分析，新增一條措施。