[發明專利]一種解決跨域異構數據聯合檢索的方法

在審

• 申請號: 202111072328.0
• 申請日: 2021-09-14
• 公開（公告）號: CN113886457A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 陳煥新
• 申請（專利權）人: 浪潮軟件科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27;G06F16/25;G06F16/21
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜麗潔

1.一種解決跨域異構數據聯合檢索的方法，其特征在于，具有以下步驟：

S1、搭建引擎管理平臺；

S2、架構分布式的數據協同引擎；

S3、進行數據訪問引擎；

S4、多域數據源管理平臺；

S5、構建協同數據緩存庫；

S6、開放協同服務總線；

S7、輸出完整的協同計算總線平臺。

2.根據權利要求1所述的一種解決跨域異構數據聯合檢索的方法，其特征在于，采用Apache開源產品Ambari將協同引擎組件presto進行組件化封裝，Ambari進行presto的自動化部署、管理及監控，將presto組件進行多節點的分布式架構的編排。

3.根據權利要求2所述的一種解決跨域異構數據聯合檢索的方法，其特征在于，presto組件進行多節點的分布式架構的編排時，其中一個節點上安裝Presto coordinator，剩余節點上安裝Presto worker，構成一個多節點分布式架構模式。

4.根據權利要求3所述的一種解決跨域異構數據聯合檢索的方法，其特征在于，在步驟S2中，基于協同計算引擎Presto開發數據庫，使用Presto的plugin插件進行集成，將開發的數據庫通過connector內部邏輯統一轉換為符合SQL92標準的SQL語法；

同時，根據協同計算集群實際的資源情況，對presto的線程數、并發數和JVM這些參數進行調優配置，再通過Ambari管理平臺，進行Presto組件的自動化部署，實現分布式協同計算引擎的部署。

5.根據權利要求4所述的一種解決跨域異構數據聯合檢索的方法，其特征在于，在步驟S3中，基于協同計算總線引擎Presto，開發具備分析器、優化器、分解器和調度器的數據訪問引擎，所述數據訪問引擎符合SQL92標準的SQL輸入及解析；

通過與Presto的訪問引擎進行適配對接，用于對標準SQL的輸入、解析、執行及調度能力。

6.根據權利要求5所述的一種解決跨域異構數據聯合檢索的方法，其特征在于，在步驟S4中，基于協同計算引擎Presto，實現多域數據源管理平臺，主要對管理者和開發者，所述管理者基于Presto引擎的任務監控大屏；對開發者的數據源權限開放和API訪問申請進行審批或駁回，同時實現對各類用戶配置各類數據源庫表列的訪問操作權限。

7.根據權利要求6所述的一種解決跨域異構數據聯合檢索的方法，其特征在于，在步驟S5中，基于引擎管理平臺的自動化部署能力，構建Hive和MySQL兩類緩存庫，將初步計算后的結果存儲至所述Hive和MySQL兩類緩存庫，若初步計算后的結果不全面，開發者進行數據的二次并行計算。

8.根據權利要求6所述的一種解決跨域異構數據聯合檢索的方法，其特征在于，在步驟S6中，將各部門注冊并發布的數據源與API服務，通過協同服務總線對上層應用進行開放，開發者可以通過協同服務總線，瀏覽各部門發布的各類異構數據源以及API詳細信息，進行線上申請審批。