[發明專利]一種面向業務場景的油氣大數據分析系統及方法

有效

• 申請號: 202110942720.X
• 申請日: 2021-08-17
• 公開（公告）號: CN113656021B
• 公開（公告）日: 2023-08-25
• 發明（設計）人: 李艷春;文必龍;高俊濤;王志寶
• 申請（專利權）人: 東北石油大學
• 主分類號: G06F8/34
• 分類號: G06F8/34;G06F8/36;G06F16/21;G06Q50/02
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 王洪生;李洪福

本發明提供一種面向業務場景的油氣大數據分析系統及方法，涉及大數據分析技術領域，系統包括：分析模塊管理引擎，集成多種數據分析算法為油氣大數據分析提供可復用的組件；業務流程可視化編輯引擎，提供可視化的業務分析流程設計工具；分析流程轉換引擎，依據轉換算法將業務流程轉換成可執行流程實例；流程執行優化引擎，根據分析流程數據規模和平臺運行狀態優化運行參數；分布式流程執行調度引擎，控制和監測分析流程的執行；大數據庫，收集和存儲油氣大數據。本發明能夠自動將油氣大數據業務轉化成數據分析可執行流程實例，實現面向領域專業人員自管理、自配置和自優化分析方式，降低油氣大數據分析的復雜性，敏捷高效的實現油氣大數據分析。

技術領域

本發明涉及大數據分析技術領域，尤其涉及一種面向業務場景的油氣大數據分析系統及方法。

背景技術

隨著油氣勘探和開發，此過程中積累了大量的數據。數據的獲取、整理、綜合分析是油田技術的一項重要工作，大數據分析流程的創建者逐漸從開發人員轉向為產業領域人員，雖然領域人員掌握領域知識和原理模型，但面對僅提供計算框架與分析類庫大數據分析軟件，由于其存在專業性較高、交互性支持不夠的問題，促使開發實現過程需要付出很多的時間逐步重復手動完成數據處理，并不能自主達成從問題分析到數據處理等各個環節的算法以及程序實現，致使工作效率很難提高。并且油氣大數據分析除數據體量大帶來的分析效率要求提高外，更重要的是對領域知識、復雜原理模型和應用場景的依賴性，現階段的油氣數據的分析工作缺乏科學原理模型和領域方法的指導。

傳統數據分析是圍繞關系數據庫管理系統，衍生出了相關數據分析工具。以關系數據庫作為核心數據引擎，提供了計算框架與算法庫，例如，SPSS?Modeler、MatlabSpider、SQL?ServerAnalysis?Services、weka和R等都提供了此類工具，它們對分析具有通用性卻脫離工程實際，并且面對海量、非結構化或半結構化數據，關系數據庫無法提供高效的存儲管理，且分析算法與特定的應用平臺過于耦合，無法滿足日益復雜的大數據分析需求。以Hadoop為代表的的分布式處理平臺以及計算框架得在成本可控的情況下海量數據分析成為可能，解決了大數據有效存儲與高效處理的問題，但僅提供計算框架與分析類庫，使用門檻高、集成困難且交互性支持不夠，面對獨立分析任務編寫程序更是很大程度阻礙了分布式計算平臺的普適與易用，提升了使用門檻與成本，并且帶來了更多的重復工作。因此，構建一套面向產業領域人員和算法開發人員交互式構建大數據分析流程并高效執行的方法顯得非常必要，降低大數據分析技術在油氣勘探和開發過程中應用普及的門檻。

發明內容

本發明提供一種面向業務場景的油氣大數據分析系統及方法，旨在解決現有技術中，傳統依靠編碼分析方式油氣大數據分析復用性、易用性差，以及分析工具受專業技術制約數據分析流程構建過程復雜，業務分析需求提者無法敏捷高效的實現油氣大數據分析的問題。

為達到以上目的，本發明采取的技術方案是：

一種面向業務場景的油氣大數據分析系統，包括：

分析模塊管理引擎，所述分析模塊管理引擎在油氣勘探和開發過程中將典型業務場景對應的數據處理算法、模型開發或封裝成的可復用的組件；

業務流程可視化編輯引擎，所述業務流程可視化編輯引擎提供可視化的油氣大數據分析業務流程設計工具，所述業務流程可視化編輯引擎定義一套可視化流程描述的語法、語義以及圖形關系；

分析流程轉換引擎，所述分析流程轉換引擎接收用戶通過業務流程可視化編輯引擎設計完成的業務流程，解析流程使用的分析模塊，并依據模型轉換算法將面向領域的業務流程轉換成面向平臺的大數據分析可執行流程；

流程執行優化引擎，所述流程執行優化引擎接收所述分析流程轉換引擎提交的待執行分析流程實例，根據待執行分析流程應用的數據規模和平臺運行狀態獲得最優運行配置參數；

分布式流程執行調度引擎，所述分布式流程執行調度引擎控制已發布分析流程應用的執行；