[發明專利]一種數據的查詢方法和裝置

有效

• 申請號: 201310362238.4
• 申請日: 2013-08-19
• 公開（公告）號: CN103425780A
• 公開（公告）日: 2013-12-04
• 發明（設計）人: 王穎;李晉鋼;宋懷明;苗艷超;劉新春;邵宗有
• 申請（專利權）人: 曙光信息產業股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京新知遠方知識產權代理事務所(普通合伙) 11397
• 代理人: 張艷

技術領域

本發明涉及海量數據處理技術領域，特別涉及一種數據的查詢方法和裝置。

背景技術

隨著數據業務的發展，同一個業務中，一般既有結構化數據，也有非結構化數據，有時候兩種類型的數據還會有某種對應關系，需要關聯處理。其中，結構化數據是指行數據，存儲在數據庫里，可以用二維表結構來邏輯表達的數據，而難以用數據庫二維邏輯表來表現的數據即稱為非結構化數據，非結構化數據包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等。

在現有技術的數據處理中，對于結構化數據可直接采用關系型數據庫存儲，并在關系型數據庫中實現對結構化數據的查詢、過濾或計算；對于非結構化數據，采用MapReduce進行批量處理，包括對非結構化數據的查詢、過濾或計算。現有技術中，對結構化數據和非結構化數據的處理是分開進行的，即結構化數據內部關聯查詢，非結構化數據內部關聯查詢，不能支持結構化數據與非結構化數據之間關聯查詢，所以如何實現結構化數據和非結構化數據的關聯查詢是需要解決的問題。

發明內容

為了解決現有技術中結構化數據和非結構化數據不能自動關聯查詢的問題，本發明實施例中提供了一種數據的查詢方法和裝置，所述技術方案如下：

在一方面，提供了一種數據的查詢方法，用于對結構化數據和非結構化數據進行關聯查詢，所述方法包括：

獲取關聯查詢請求，并將所述關聯查詢請求分解為多個子查詢請求；

當所述多個子查詢請求中包括對非結構化數據組件的查詢請求時，調用所述非結構化數據組件對應的解析方式，對所述非結構化數據組件進行解析，得到有模式的數據；

將所述有模式的數據與結構化數據進行關聯查詢，得到所述關聯查詢的結果集。

在另一方面，提供了一種數據的查詢裝置，用于對結構化數據和非結構化數據進行關聯查詢，所述裝置包括：

任務分解模塊，用于獲取關聯查詢請求，并將所述關聯查詢請求分解為多個子查詢請求；

非結構化數據解析模塊，用于當所述多個子查詢請求中包括對非結構化數據組件的查詢請求時，調用所述非結構化數據組件對應的解析方式，對所述非結構化數據組件進行解析，得到有模式的數據；

關聯查詢模塊，用于將所述有模式的數據與結構化數據進行關聯查詢，得到所述關聯查詢的結果集。

本發明實施例提供的技術方案帶來的有益效果是：

獲取關聯查詢請求，并將所述關聯查詢請求分解為多個子查詢請求；當所述多個子查詢請求中包括對非結構化數據組件的查詢請求時，調用所述非結構化數據組件對應的解析方式，對所述非結構化數據組件進行解析，得到有模式的數據；將所述有模式的數據與結構化數據進行關聯查詢，得到所述關聯查詢的結果集。通過對非結構化數據的獨立解析處理，得到有模式的數據，其中不需要人為介入，可以自動對非結構化數據進行解析，實現了非結構化數據與結構化數據的關聯查詢。

附圖說明

下面將參照附圖描述本發明的具體實施例，其中：

圖1是本發明實施例一中提供的一種數據的查詢方法的流程圖；

圖2是本發明實施例二中提供的一種數據的查詢方法的流程圖；

圖3是本發明實施例二中提供的初始化后的平臺示意圖；

圖4是本發明實施例三中提供的一種數據的查詢裝置的示意圖；

圖5是本發明實施例三中提供的另一種數據的查詢裝置的示意圖。

具體實施方式

為了使本發明的技術方案及優點更加清楚明白，以下結合附圖對本發明的示例性實施例進行進一步詳細的說明，顯然，所描述的實施例僅是本發明的一部分實施例，而不是所有實施例的窮舉。

本實施例中涉及到的數據模式是對數據的一種明確描述方式，數據庫存放數據的模式，正因為有數據模式，才能構造復雜的數據結構來建立數據之間的內在聯系與復雜關系，從而構成數據的全局結構模式。數據模式是基于選定的數據模型對數據進行“型”方面的刻畫，而相應的“實例”則是對數據“值”方面的描述。先有數據模型，才能據其討論相應數據模式，有了數據模式，就能依據該模式得到相應的實例。通常數據有明確的字段，類型就是有數據模式，稱為結構化數據，否則是無模式，為非結構化數據，類似圖片，視頻，音頻文件等。

本實施例中涉及到的關聯查詢不僅僅是關系型數據庫中兩個二維表的join操作，而是指結構化與非結構化兩種類型的數據之間有join操作，union操作，級聯操作等，結構化與非結構化作為平等的數據對象，將對兩種數據對象的操作融合到統一的操作中。