[發明專利]一種異構多源數據融合查詢方法及裝置

在審

• 申請號: 201711315934.4
• 申請日: 2017-12-08
• 公開（公告）號: CN108090154A
• 公開（公告）日: 2018-05-29
• 發明（設計）人: 李俊;葉日新
• 申請（專利權）人: 廣州市申迪計算機系統有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫

本發明公開了一種異構多源數據融合查詢方法及裝置，涉及大數據領域。包括：接收數據源查詢請求，根據查詢格式在數據模型內確認與數據源對應的連接參數；根據數據源的類型以及數據源的類型的在數據存儲器內的存儲方式，確定與數據源查詢請求對應的數據查詢適配器和數據源；根據數據源查詢請求內的數據源關聯方式以及篩選條件，對查詢格式內的查詢字段進行優化，并根據優化后的查詢字段從數據存儲器內得到第一查詢結果；根據數據源查詢請求內的數據源關聯字段和數據源關聯參數，對第一查詢結果進行關聯融合，得到第二查詢結果。

技術領域

本發明涉及大數據領域，更具體的涉及一種異構多源數據融合查詢方法及裝置。

背景技術

隨著物聯網和大數據的發展，數據規模快速增長，數據結構多種多樣，數據正在提供越來越重要的價值，異構多源數據的融合與分析也受到越來越多的重視，相關的方法和技術在不斷的快速發展。

當前存在多種異構多源數據融合分析技術和方法，比如，開源的Pentaho、各種商業BI軟件以及企業自主定制開發的IT業務系統等。現有技術對于大數據的可視化分析仍有較大局限，問題主要集中在幾個方面：1)、現有BI軟件對非結構化數據源的支持并非太全面，例如大部分BI軟件對elasticsearch不支持；2)、現有BI軟件在整合異構多源數據時，只解決了結構化數據的多源數據融合問題，未能解決結構化與非結構化數據的多源融合問題；3)、企業自主定制開發的IT業務系統，要實現適配多種數據源，并且還要做到數據關聯，缺乏統一的、標準化的設計思路，導致重復開發、開發成本高等問題。

發明內容

本發明實施例提供一種異構多源數據融合查詢方法及裝置，用以解決結構化與非結構化數據的多源查詢適配及融合問題。

本發明實施例提供一種異構多源數據融合查詢方法，包括：

接收到數據源查詢請求，所述數據源查詢請求內攜帶有查詢格式，根據所述查詢格式在數據模型內確認與所述數據源查詢請求對應的連接參數，根據所述連接參數確定與所述數據源查詢請求對應的數據源類型；

根據所述數據源類型以及所述數據源類型的在數據存儲器內的存儲方式，確定與所述數據源查詢請求對應的數據查詢適配器和數據源；

根據所述數據源查詢請求內的數據源關聯方式以及篩選條件，對所述查詢格式內的查詢字段進行優化，并根據優化后的所述查詢字段，通過查詢所述數據源，得到與所述數據源查詢請求對應的第一查詢結果；

根據所述數據源查詢請求內的數據源關聯字段和數據源關聯參數，對所述第一查詢結果進行關聯融合，得到第二查詢結果。

優選地，所述數據存儲器包括結構化數據和非結構化數據；

所述第一查詢結果至少包括兩個與所述數據源的類型對應的第一結果，且所述第一結果分別包含至少一個屬于支持結構化查詢SQL的動態拼接的SQL生成器和至少一個屬于支持應用程序編程接口API動態調用的NoSQL查詢構造器；

所述確定與所述數據源查詢請求對應的第一查詢結果之后，還包括：將屬于支持結構化查詢SQL的動態拼接的SQL生成器的所述第一結果存儲至所述結構化數據；將屬于支持應用程序編程接口API動態調用的NoSQL查詢構造器的所述第一結果進行格式化轉換并存儲至所述結構化數據。

優選地，所述得到第二查詢結果之后，還包括：

將所述第二查詢結果封裝成與所述數據源查詢請求內攜帶有查詢格式對應的格式封裝結果，并將所述格式封裝結果發送至查詢請求接口。

本發明實施例還提供一種異構多源數據融合查詢裝置，其特征在于，包括：