[發(fā)明專利]運行時可插拔的異構(gòu)大數(shù)據(jù)資源封裝集成系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202111083980.2
• 申請日: 2021-09-16
• 公開（公告）號: CN113535157A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設計）人: 李常寶;尹發(fā);劉忠麟;付凱;康健
• 申請（專利權(quán)）人: 中國電子科技集團公司第十五研究所
• 主分類號: G06F8/34
• 分類號: G06F8/34;G06F8/36;G06F8/71;G06F16/21;G06F9/445;G06F9/48;G06F11/32;G06F11/30
• 代理公司: 北京理工大學專利中心 11120
• 代理人: 高會允

本發(fā)明公開了運行時可插拔的異構(gòu)大數(shù)據(jù)資源封裝集成系統(tǒng)及方法，構(gòu)建了一種通用型的異構(gòu)大數(shù)據(jù)資源模型，并引入相應更高效的大數(shù)據(jù)資源封裝方式，以開放式組合的形式完成大數(shù)據(jù)分析過程中異構(gòu)資源的融合流轉(zhuǎn)，建立松耦合、通用化的大數(shù)據(jù)資源集成平臺。該方案結(jié)合大數(shù)據(jù)分析的特點,基于數(shù)據(jù)維度和關聯(lián)關系的抽象與規(guī)范，抽象出包含靜態(tài)信息、交互信息、監(jiān)控信息等通用的異構(gòu)資源模型，基于結(jié)構(gòu)化模型構(gòu)建了包含注冊機制、調(diào)度機制、插拔重組機制的資源封裝機制，以開放式組合的形式完成大數(shù)據(jù)分析過程中異構(gòu)資源的融合流轉(zhuǎn)，建立松耦合、通用化的大數(shù)據(jù)資源集成平臺，以運行時可插拔的形式提升了大數(shù)據(jù)平臺的存儲能力、計算能力和算法能力。

技術領域

本發(fā)明涉及大數(shù)據(jù)分析技術領域，具體涉及運行時可插拔的異構(gòu)大數(shù)據(jù)資源封裝集成系統(tǒng)及方法。

背景技術

隨著大數(shù)據(jù)技術的發(fā)展和升級，推動著與不同領域產(chǎn)生融合創(chuàng)新，在提升各領域生產(chǎn)效率，優(yōu)化資源配置的同時，也產(chǎn)生了不同領域多樣化的數(shù)據(jù)分析需求。面向多領域復雜多變的數(shù)據(jù)分析處理環(huán)境，傳統(tǒng)的資源利用和組件運行技術等已經(jīng)不能滿足其要求，亟待從以下兩方面進行提升改進：

1、需要構(gòu)建通用的異構(gòu)資源模型，伸展大數(shù)據(jù)運行場景。傳統(tǒng)的生產(chǎn)流程強調(diào)運行時的完整性和準確性，從運行過程流轉(zhuǎn)、處理結(jié)果傳遞、運行環(huán)境和執(zhí)行參數(shù)等角度構(gòu)建和保證生產(chǎn)流程的進行；而大數(shù)據(jù)分析流程是聚焦于數(shù)據(jù)采集、治理、分析、可視化及應用的過程，由于數(shù)據(jù)來源和分析處理形式復雜多樣，缺少對輸入的數(shù)據(jù)源、提供計算能力的引擎、參與計算和處理的算子等不同類型的資源進行基于數(shù)據(jù)維度和關聯(lián)關系的抽象與規(guī)范，會導致不能滿足運行時的各類接口標準和性能要求等，使數(shù)據(jù)分析過程不能正常運轉(zhuǎn)或流程編排過于繁瑣，無法推進大數(shù)據(jù)的生產(chǎn)化應用。

2、需要改進資源封裝方式，提升大數(shù)據(jù)運行效率。傳統(tǒng)的資源封裝方式出發(fā)點是統(tǒng)一的運行環(huán)境中資源的關聯(lián)應用、數(shù)據(jù)傳遞等，資源間的耦合性較強。這樣導致在面對大數(shù)據(jù)分析多領域多樣化又龐大的流轉(zhuǎn)場景時，提供數(shù)據(jù)訪問、計算、處理等能力的資源不能靈活地融合運轉(zhuǎn)，難以集中于具體的業(yè)務邏輯，數(shù)據(jù)分析效率變低；如果數(shù)據(jù)分析場景發(fā)生變更，生產(chǎn)流程的各個資源都要修改和重組，產(chǎn)生了過多額外的重復工作。

面臨上述問題，為了處理多領域復雜多變的大數(shù)據(jù)分析需求，需要構(gòu)建通用性的異構(gòu)資源模型，引入相應更高效的資源封裝方式，將生產(chǎn)流程編排的過程降耦，提升各類數(shù)據(jù)的生產(chǎn)保障能力。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供了運行時可插拔的異構(gòu)大數(shù)據(jù)資源封裝集成系統(tǒng)及方法，構(gòu)建了一種通用型的異構(gòu)大數(shù)據(jù)資源模型，并引入相應更高效的大數(shù)據(jù)資源封裝方式，以開放式組合的形式完成大數(shù)據(jù)分析過程中異構(gòu)資源的融合流轉(zhuǎn)，建立松耦合、通用化的大數(shù)據(jù)資源集成平臺。

為達到上述目的，本發(fā)明的技術方案為：運行時可插拔的異構(gòu)大數(shù)據(jù)資源封裝集成系統(tǒng)，封裝集成系統(tǒng)包括大數(shù)據(jù)資源可插拔模型以及大數(shù)據(jù)分析子系統(tǒng)。

大數(shù)據(jù)資源可插拔模型包括靜態(tài)信息、交互信息、監(jiān)控信息和調(diào)度信息。

大數(shù)據(jù)分析子系統(tǒng)包括異構(gòu)大數(shù)據(jù)資源注冊模塊、大數(shù)據(jù)流程編排模塊、任務調(diào)度模塊以及運行時插拔重組模塊。

異構(gòu)大數(shù)據(jù)資源注冊模塊基于異構(gòu)大數(shù)據(jù)資源模型提供資源注冊的統(tǒng)一接口。

大數(shù)據(jù)流程編排模塊，用于針對已注冊完成的大數(shù)據(jù)資源進行大數(shù)據(jù)算子的拖拽式布局和連線式流程編排，生成大數(shù)據(jù)業(yè)務流程；大數(shù)據(jù)流程編排模塊還支持執(zhí)行過程中流程處理進度的展示和中間結(jié)果的輸出。

任務調(diào)度模塊基于大數(shù)據(jù)業(yè)務流程構(gòu)建生產(chǎn)任務，按調(diào)度配置屬性進行任務調(diào)度，支持對調(diào)度任務的管理、可視化監(jiān)控以及控制執(zhí)行操作。

運行時插拔重組模塊，用于在數(shù)據(jù)分析場景發(fā)生變化時，基于當前的運行環(huán)境進行大數(shù)據(jù)資源的插拔調(diào)整。

進一步地，異構(gòu)大數(shù)據(jù)資源包括數(shù)據(jù)源、計算引擎、算子以及生產(chǎn)任務。