[發明專利]一種支持異構數據庫的數據檢索方法

在審

• 申請號: 201710878815.3
• 申請日: 2017-09-26
• 公開（公告）號: CN108446289A
• 公開（公告）日: 2018-08-24
• 發明（設計）人: 代宏偉;王策
• 申請（專利權）人: 北京中安智達科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京高文律師事務所 11359
• 代理人: 徐江華

本發明提供一種支持異構數據庫的數據檢索方法，包括下列步驟：(1)檢索系統包含檢索語句解析模塊和檢索條件轉換模塊，用戶輸入需要檢索的簡單語句或者復雜語句，檢索語句解析模塊對檢索語句進行解析，并且把解析的結果轉換成統一查詢結構；(2)檢索條件轉換模塊對查詢結構進行解析，然后根據數據庫的具體類型，從查詢轉換器中選擇合適的適配器轉換為數據庫支持的查詢表達式語句。所述支持異構數據庫的數據檢索方法能夠根據具體的數據庫類型，選用合適的適配器重新生成該數據庫支持的查詢語句。

技術領域

本發明涉及大數據處理領域，尤其涉及一種支持異構數據庫的數據檢索方法，支持多種異構數據庫中檢索數據，支持結構化和非結構化檢索條件的混合使用。

背景技術

隨著互聯網技術的快速發展，數據中心數據的規模和種類也在飛速增長。大數據在接受度、技術、應用等各個方面趨于成熟，開始步入產業的快速發展階段，大數據巨大的應用價值帶動了大數據行業的迅速發展。大數據中包括大量結構化和非結構化數據，尤其是以文本等為代表的非結構化數據。

對于結構化數據的查詢一般采用SQL或類SQL語法，SQL語句比較靈活且功能強大，但對于查詢一些文本類型的數據還是有很大的局限。對于文本信息的檢索，一般采用關鍵詞檢索、短語檢索和通配符(＊)檢索，支持通過與、或、非邏輯運算符連接多個條件，但無法用于比較復雜的查詢語句或帶有嵌套查詢的情況。

發明內容

本發明提供了一種支持異構數據庫的數據檢索方法，用于實現復雜的結構化和非結構化數據的組合檢索、統計功能，并且可以通過擴展適配器的方式，支持多種異構的關系型數據庫和全文數據庫。其技術方案如下所述：

一種支持異構數據庫的數據檢索方法，包括下列步驟：

(1)檢索系統包含檢索語句解析模塊和檢索條件轉換模塊，用戶輸入需要檢索的簡單語句或者復雜語句，檢索語句解析模塊對檢索語句進行解析，并且把解析的結果轉換成統一查詢結構；

(2)檢索條件轉換模塊對查詢結構進行解析，然后根據數據庫的具體類型，從查詢轉換器中選擇合適的適配器轉換為數據庫支持的查詢表達式語句。

所述簡單語句就是一個只包含檢索條件的語句；復合語句是通過管道符號或者連接符號連接起來的多個語句，復合語句的第一個語句為檢索條件。

對于簡單語句，本發明支持關鍵詞、短語和通配符的檢索，支持字段值匹配的檢索，支持布爾表達式的檢索，支持正則表達式的檢索。

所述復合語句的命令包括以下類型：生成命令、數據源命令、字段值運算、字段值過濾、字段選擇、分組命令、統計命令、排序命令、連接命令和子檢索，這些命令在一定約束條件下能夠組合使用。

檢索語句解析模塊包含表達式解析模塊和查詢解析模塊兩個子模塊，表達式解析模塊首先通過詞法分析器對檢索語句進行詞法分析，然后通過檢索解析器對檢索命令進行解析，提取出所有的命令及相應的參數信息，最后生出SDL的檢索表達式；查詢解析模塊把SDL檢索表達式轉換一個通用的查詢結構。

表達式解析模塊中，表達式解析器接收到待解析的檢索語句，通過詞法解析器對檢索語句進行詞法分析，然后提取每個檢索子句傳遞給檢索解析器進行命令解析及命令參數的提取，最后把命令解析結果進行匯總分析，生成 SDL檢索表達式。

詞法解析器對檢索語句進行詞法分析，把檢索語句從一個字符序列轉換為單詞序列，詞法解析器設置的詞法分析器用于掃描、識別單詞，并且對識別出的單詞進行分類標記，單詞分類包括：標識符、字符串、數字、變量、字符、操作符；

命令解析器對檢索語句進行語法分析，從詞法分析器輸出的單詞序列中取出單詞進行分析，首先判斷取得的單詞是否是搜索命令，如果是搜索命令，則對命令進行解析并且對命令的參數進行表達式解析，生成檢索表達式；