[發(fā)明專利]一種解決跨域異構(gòu)數(shù)據(jù)聯(lián)合檢索的方法

在審

• 申請?zhí)枺?/td>: 202111072328.0
• 申請日: 2021-09-14
• 公開（公告）號: CN113886457A
• 公開（公告）日: 2022-01-04
• 發(fā)明（設(shè)計）人: 陳煥新
• 申請（專利權(quán)）人: 浪潮軟件科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27;G06F16/25;G06F16/21
• 代理公司: 濟南信達專利事務(wù)所有限公司 37100
• 代理人: 姜麗潔

本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，具體提供了一種解決跨域異構(gòu)數(shù)據(jù)聯(lián)合檢索的方法，具有以下步驟：S1、搭建引擎管理平臺；S2、架構(gòu)分布式的數(shù)據(jù)協(xié)同引擎；S3、進行數(shù)據(jù)訪問引擎；S4、多域數(shù)據(jù)源管理平臺；S5、構(gòu)建協(xié)同數(shù)據(jù)緩存庫；S6、開放協(xié)同服務(wù)總線；S7、輸出完整的協(xié)同計算總線平臺。與現(xiàn)有技術(shù)相比，本發(fā)明滿足跨部門的大數(shù)據(jù)協(xié)同計算，融合科信、對外以服務(wù)形式提供業(yè)務(wù)綜合分析服務(wù)，提升業(yè)務(wù)部門管控、防御能力，具有良好的推廣價值。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)領(lǐng)域，具體提供一種解決跨域異構(gòu)數(shù)據(jù)聯(lián)合檢索的方法。

背景技術(shù)

行業(yè)數(shù)據(jù)種類復(fù)雜、來源多樣，致使數(shù)據(jù)源頭采集難以到位。各部門和各地市都掌握一定的數(shù)據(jù)資源，但部門壁壘、組織層級壁壘沒有完全打破，該匯聚的數(shù)據(jù)資源沒有匯聚，“數(shù)據(jù)孤島”現(xiàn)象長期存在，導(dǎo)致大數(shù)據(jù)整合來源不多、覆蓋不廣、標(biāo)準(zhǔn)不一、力度不夠和效率不高。

數(shù)據(jù)過剩與數(shù)據(jù)饑渴問題同時存在，數(shù)據(jù)過剩、其他數(shù)據(jù)饑渴；上級機關(guān)數(shù)據(jù)過剩、基層部門數(shù)據(jù)饑渴。與此同時，數(shù)據(jù)管理體系不健全，數(shù)據(jù)管理與業(yè)務(wù)需求脫節(jié)，部分機制和規(guī)定不利于數(shù)據(jù)共享深入開展，難以滿足信息共享的迫切需求，各個部門的數(shù)據(jù)環(huán)境呈現(xiàn)出煙囪式建設(shè)模式，導(dǎo)致部門數(shù)據(jù)完全獨立隔離。缺乏有效的數(shù)據(jù)處理手段，數(shù)據(jù)價值挖掘不充分，不能保證數(shù)據(jù)最大價值服務(wù)于實際業(yè)務(wù)需要。

鑒于目前行業(yè)面臨的數(shù)據(jù)共享難的業(yè)務(wù)現(xiàn)狀，急需建設(shè)一體化的數(shù)據(jù)協(xié)同計算總線，在保證不影響各業(yè)務(wù)部門已建大數(shù)據(jù)中心的基礎(chǔ)之上，將各業(yè)務(wù)部門網(wǎng)絡(luò)進行打通。

發(fā)明內(nèi)容

本發(fā)明是針對上述現(xiàn)有技術(shù)的不足，提供一種實用性強解決跨域異構(gòu)數(shù)據(jù)聯(lián)合檢索的方法。

本發(fā)明解決其技術(shù)問題所采用的技術(shù)方案是：

一種解決跨域異構(gòu)數(shù)據(jù)聯(lián)合檢索的方法，具有以下步驟：

S1、搭建引擎管理平臺；

S2、架構(gòu)分布式的數(shù)據(jù)協(xié)同引擎；

S3、進行數(shù)據(jù)訪問引擎；

S4、多域數(shù)據(jù)源管理平臺；

S5、構(gòu)建協(xié)同數(shù)據(jù)緩存庫；

S6、開放協(xié)同服務(wù)總線；

S7、輸出完整的協(xié)同計算總線平臺。

進一步的,采用Apache開源產(chǎn)品Ambari將協(xié)同引擎組件presto 進行組件化封裝，Ambari進行presto的自動化部署、管理及監(jiān)控，將presto組件進行多節(jié)點的分布式架構(gòu)的編排。

進一步的,presto組件進行多節(jié)點的分布式架構(gòu)的編排時，其中一個節(jié)點上安裝Presto coordinator，剩余節(jié)點上安裝Presto worker，構(gòu)成一個多節(jié)點分布式架構(gòu)模式。

進一步的,在步驟S2中，基于協(xié)同計算引擎Presto開發(fā)數(shù)據(jù)庫，使用Presto的plugin插件進行集成，將開發(fā)的數(shù)據(jù)庫通過connector 內(nèi)部邏輯統(tǒng)一轉(zhuǎn)換為符合SQL92標(biāo)準(zhǔn)的SQL語法；

同時，根據(jù)協(xié)同計算集群實際的資源情況，對presto的線程數(shù)、并發(fā)數(shù)和JVM這些參數(shù)進行調(diào)優(yōu)配置，再通過Ambari管理平臺，進行Presto組件的自動化部署，實現(xiàn)分布式協(xié)同計算引擎的部署。

進一步的,在步驟S3中，基于協(xié)同計算總線引擎Presto，開發(fā)具備分析器、優(yōu)化器、分解器和調(diào)度器的數(shù)據(jù)訪問引擎，所述數(shù)據(jù)訪問引擎符合SQL92標(biāo)準(zhǔn)的SQL輸入及解析；

通過與Presto的訪問引擎進行適配對接，用于對標(biāo)準(zhǔn)SQL的輸入、解析、執(zhí)行及調(diào)度能力。