[發明專利]跨數據庫和文件系統的查詢一體化

有效

• 申請號: 201380076177.3
• 申請日: 2013-04-02
• 公開（公告）號: CN105164673A
• 公開（公告）日: 2015-12-16
• 發明（設計）人: Q·陳;M·許
• 申請（專利權）人: 惠普發展公司;有限責任合伙企業
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 郭艷芳;康泉

1.一種跨數據庫和文件系統的查詢一體化的方法，包括：

對由第一數據庫文件系統管理的數據進行流操作，以供查詢；

對由第二數據庫文件系統管理的數據進行流操作，以供所述查詢；以及

將由所述第一數據庫文件系統管理的流數據與由所述第二數據庫文件系統管理的流數據拼接。

2.根據權利要求1所述的方法，進一步包括以由所述第一數據庫文件系統和所述第二數據庫文件系統之一支持的格式保存拼接的數據。

3.根據權利要求1所述的方法，其中對由第一數據庫文件系統管理的數據進行流操作進一步包括：

使用迭代器將Hadoop數據變成流；

利用函數掃描代替表掃描，以生成所述查詢的數據源作為記錄生成函數；以及

延伸函數掃描，以進行非阻塞逐元組輸出。

4.根據權利要求1所述的方法，進一步包括通過以下操作從Hadoop文件系統(HDFS)訪問關系數據庫(RDB)中的數據：

將Hadoop工作輸入格式設置為數據庫輸入格式(DbInputFormat)類；

為所述DbInputFormat類指定查詢，以從所述RDB提取數據；以及

創建映射器類，以接受數據庫記錄對象作為輸入。

5.根據權利要求1所述的方法，進一步包括通過以下操作將數據從Hadoop文件系統(HDFS)寫入關系數據庫(RDB)：

對數據庫記錄設定Hadoop工作的輸出值類；

設定用于以數據庫輸出格式類存儲數據的表的細節；以及

創建將數據加入數據庫記錄對象并且調用寫入功能以存儲所述數據的減少類。

6.根據權利要求1所述的方法，進一步包括通過以下操作拼接查詢結果并且將所述查詢結果存儲至關系數據庫(RDB)：

通過表掃描從所述RDB檢索數據；

通過函數掃描從Hadoop文件系統(HDFS)數據庫檢索數據；

將來自所述RDB和所述HDFS數據庫的檢索數據進行拼接；以及

將拼接的數據寫至所述RDB。

7.根據權利要求1所述的方法，進一步包括通過以下操作拼接查詢結果并且將所述查詢結果存儲至Hadoop文件系統(HDFS)數據庫：

通過表掃描從所述RDB檢索數據；

通過函數掃描從Hadoop文件系統(HDFS)數據庫檢索數據；

將來自所述RDB和所述HDFS數據庫的檢索數據進行拼接；以及

以所述HDFS所支持的格式保存拼接的數據。

8.一種跨數據庫和文件系統的查詢一體化的系統，包括查詢引擎，所述查詢引擎存儲在非暫時性計算機可讀介質上并且由處理器可執行，以：

對由第一數據庫文件系統管理的數據進行流操作；

對由第二數據庫文件系統管理的數據進行流操作；以及

將由所述第一數據庫文件系統管理的數據與由所述第二數據庫文件系統管理的數據拼接。

9.根據權利要求8所述的系統，進一步包括：記錄迭代器(RIR)，所述記錄迭代器被配置成從Hadoop文件系統(HDFS)數據庫檢索數據，并且逐記錄地輸出數據處理結果。

10.根據權利要求9所述的系統，進一步包括用于從所述RIR讀取數據記錄的流源函數(SSF)。

11.根據權利要求10所述的系統，其中所述RIR用作所述SSF的數據源，并且所述SSF用作查詢的數據源。

12.根據權利要求8所述的系統，其中所述查詢引擎將關系數據庫(RDB)當作Hadoop數據源和接收器。

13.根據權利要求8所述的系統，其中所述查詢引擎將Hadoop文件系統(HDFS)數據庫當作關系數據庫(RDB)數據源。

14.根據權利要求13所述的系統，其中所述查詢引擎將來自所述HDFS數據庫的數據與來自所述RDB的數據拼接。

15.根據權利要求13所述的系統，其中所述查詢引擎在無需靜態地或動態地物化數據的情況下使用函數掃描來對來自所述HDFS數據庫的數據進行流操作。