[發明專利]多源異構日志數據處理方法、裝置、設備及介質

在審

• 申請號: 202210149610.2
• 申請日: 2022-02-18
• 公開（公告）號: CN114546768A
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 李川;黃友俊;李星;吳建平
• 申請（專利權）人: 賽爾網絡有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;H04L9/40;H04L41/069
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 周天宇

本公開提供了一種多源異構日志數據處理方法，可以應用于信息技術領域。該多源異構日志數據處理方法包括：根據多源異構日志數據源生成元數據對象；對多源異構日志數據源進行日志分析，得到日志分析結果；根據元數據對象和日志分析結果得到元數據關系；根據元數據關系和元數據對象生成多源異構日志數據源的元數據。本公開還提供了一種多源異構日志數據處理裝置、設備、存儲介質和程序產品。

技術領域

本公開涉及信息技術領域，具體地涉及一種多源異構日志數據處理方法、裝置、設備及介質。

背景技術

針對數據處理，數據分析是數據處理流程的核心，因為數據中所蘊藏的價值就產生于分析的過程。所謂“大數據分析”，其和以往數據分析的最重要差別在于數據量急劇增長。由于數據量的增長，使得對于數據的存儲、查詢以及分析的要求迅速提高。從實際操作的角度看，“大數據分析”需要通過對原始數據進行分析來探究一種模式，尋找導致現實情況的根源因素，通過建立模型與預測來進行優化，以實現社會運行中各個領域的持續改善與創新。

雖然近兩年來“大數據”的概念越來越多的被媒體以及行業提及，但“大數據分析”在國內的發展卻仍處于初期階段。

從行業實踐的角度看，只有少數幾個行業的部分企業，能夠對大數據進行基本分析和運用，并在業務決策中以數據分析結果為依據。這些行業主要集中在銀行與保險，電信與電商等領域。以銀行業為例，目前大型國有銀行在其主營業務中均引入了數據分析，但深度尚可，廣度不夠，尚未擴充到運營管理的所有領域。而中小銀行在數據分析方面的人員與能力建設尚處于起步階段。對于支撐起我國龐大國民生產總值的建筑業、制造業以及貿易行業，其數據分析應用遠遠沒有進入規模化發展階段，這些行業在IT方向的開支主要集中在公司日常的流程化管理領域。

從技術發展的角度看，一些已經較為成熟的數據分析處理技術，例如商業智能技術和數據挖掘技術，已經在多個行業領域里得到廣泛和深入的應用。最典型的就是電商行業，運用這些技術對行業數據進行分析，對提高行業的整體運行效率以及增加行業利潤都起到了極大的推動作用。但對于像Hadoop、非結構化數據庫、數據可視化工具以及個性化推薦引擎這樣的新技術，其較高的技術門檻和高昂的運營維護成本使得國內只有少數企業能夠將其運用到深入分析行業數據中。

從數據來源的角度看，在能夠實現數據化運營的企業中，絕大多數僅僅完成了依靠企業自身所產生的數據解決自身所面臨的問題，并且是依據問題來收集所需要的數據。而僅有極少數互聯網企業能夠發揮出大數據分析的真正價值。同時運用企業外部和內部的數據來解決企業自身的問題，通過數據分析預測可能出現的問題，并依據數據分析的結果進行商業決策。在一定程度上實現了由數據化運營向運營數據的轉變。

但隨著信息技術的發展，信息系統規模出現爆炸式增長，呈現出數據量大、數據種類和來源多樣化、數據價值密度相對較低、數據增長速度快、數據準確性和可信度低的特點。為了處理大規模數據，信息系統通常采用分布式的體系結構，導致數據具有多源、異構的特點，即數據通常分布在多個數據源中，數據源之間種類、結構、實現、版本、部署環境等各不相同。多源異構數據給理解信息系統、迭代和維護信息系統、使用和查詢數據帶來了巨大的挑戰。

發明內容

鑒于上述問題，本公開提供了一種多源異構日志數據處理方法、裝置、設備、介質和程序產品。

根據本公開的第一個方面，提供了一種多源異構日志數據處理方法，包括：根據多源異構日志數據源生成元數據對象；對多源異構日志數據源進行日志分析，得到日志分析結果；根據元數據對象和日志分析結果得到元數據關系；根據元數據關系和元數據對象生成多源異構日志數據源的元數據。

根據本公開的實施例，根據多源異構日志數據源生成元數據對象包括：對多源異構日志數據源進行數據導入檢查；在通過數據導入檢查后，根據數據存儲組件抽取多源異構日志數據源的模式；根據模式抽取多源異構日志數據源的關鍵信息；根據關鍵信息生成元數據對象。