[發明專利]一種大數據異構存儲計算模型間的統一互操作系統及方法

有效

• 申請號: 201910398977.6
• 申請日: 2019-05-14
• 公開（公告）號: CN110187869B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 程道疆;項君;陳越;齊詠杰;彭力;李旭東;陳曉梅;黃若衡;劉強;王志強
• 申請（專利權）人: 上海直真君智科技有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20
• 代理公司: 上海海貝律師事務所 31301
• 代理人: 范海燕

本發明公開了一種實現大數據異構存儲計算模型間統一互操作的系統，該系統包括數據控制模塊、計算資源控制模塊、計算處理邏輯模塊、動態元數據管理模塊、參數封裝模塊以及執行控制模塊，另外本發明還公開了一種基于該大數據異構存儲計算模型間的統一互操作系統的操作方法，本發明實現的對大數據異構計算存儲模型的互操作的方法，可以很好的實現對各種計算模型的兼容，達到對上層應用開發的一致性封裝，向最終用戶屏蔽了各種異構模型的技術差異，具有通用性好、易于學習使用的特點，有效克服了現有技術中的種種缺點而具高度產業利用價值。

技術領域

本發明涉及信息處理技術領域，具體為一種大數據異構存儲計算模型間的統一互操作系統及方法。

背景技術

大數據計算技術發展突飛猛進，相關的計算、存儲模型層出不窮、不斷演進，已經覆蓋了從結構化數據、半結構化數據、非結構化數據等各種數據形態以及批處理和流處理等不同的處理模式。多樣化的技術發展固然為業務應用的創新帶來了更多的手段和可能，但也同樣為大數據技術的普及形成了障礙，主要體現在以下幾個方面：

1、不同的(異構)大數據計算存儲模型帶來的編程和開發技術的復雜性，使得用戶在學習和使用過程中有較高的門檻；

2、基于不同的計算存儲模型開發的應用互相之間基本沒有互通的可能，從而造成業務數據被迫在系統間頻繁遷移復制，降低了應用的效率；

3、應用和下層計算存儲環境的緊耦合，造成應用無法通用化，從而對應用的維護和推廣帶來諸多的不便。

發明內容

針對背景技術中存在的問題，本發明提供了一種大數據異構存儲計算模型間的統一互操作系統及方法。

為實現上述目的，本發明提供如下技術方案：一種大數據異構存儲計算模型間的統一互操作系統，包括數據控制模塊、計算資源控制模塊、計算處理邏輯模塊、動態元數據管理模塊、參數封裝模塊以及執行控制模塊；

所述數據控制模塊用于實現算子與對應引擎以及作業間的數據訪問、操作與適配；

所述計算資源控制模塊用于實現與計算存儲模型對應的計算能力以及相關資源調度管理的集成與調度；

所述計算處理模塊通過對其他引擎能力調用實現對相關業務的處理；

所述動態元數據管理模塊用于實現管理和控制運行時的數據對象，以支撐容器間動態交互和數據交換的能力；

所述參數封裝模塊提供配置和被調用能力的輸入參數的統一封裝與可視化人機交互能力；

所述執行控制模塊提供與運行環境的對接和動態控制。

作為本發明一種優選的技術方案，所述運行環境包括分布式引擎總線與平臺計算資源。

本發明還提供了一種基于上述的大數據異構存儲計算模型間的統一互操作系統的操作方法，包括如下步驟：

調用該系統的執行控制模塊提供的攔截器，實現對原始作業任務的攔截與數據定位；

基于所述執行控制模塊提供的模型差異識別能力對作業任務處理邏輯和業務數據進行分析定位和封裝裝備；

針對業務數據調用該系統的動態元數據管理模塊，通過該模塊實現對該業務數據的靜態數據以及動態數據的分離與定位，并形成相應的數據引用，為回填目標計算模型時的適配和裝換做準備；

對經所述動態元數據管理模塊分離的靜態數據與動態數據，調用該系統的數據控制模塊，通過該模塊實現面向計算存儲作業任務的動態類型轉換和通用數據適配；

通過執行控制模塊將完成處理和適配的業務數據與業務處理邏輯、經封裝回填的業務參數、和經過識別適配轉換后的資源控制和調度指令進行統一編排，實現對計算存儲做業務任務的動態重構；