[發明專利]一種數據關聯、加載、查詢方法及裝置

有效

• 申請號: 201410734165.1
• 申請日: 2014-12-04
• 公開（公告）號: CN104408159B
• 公開（公告）日: 2018-01-16
• 發明（設計）人: 黃小川;惠潤海;宋懷明
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京新知遠方知識產權代理事務所(普通合伙)11397
• 代理人: 郭玉梅

1.一種數據關聯方法，其特征在于，包括如下步驟：

確定需要關聯的兩個數據對象；將所有數據對象根據預設的判斷閾值分成大數據對象和小數據對象；

將兩個數據對象中數據量較小的數據對象以(key，value)方式放入內存的類Hashtable結構中，對另一數據對象中的每條記錄生成對應的key值，通過對key值進行哈希Hash確定每條記錄是否與內存中的key值關聯；

當需要關聯的兩個數據對象中有一個是大數據對象時，將需要關聯的大數據對象加載到分布式文件系統HDFS上，將小數據對象通過分布式緩存DistributedCache機制在Map開始前傳至內存中，在Map執行過程中將大數據對象與內存中的小數據對象進行關聯；

當需要關聯的兩個數據對象均為大數據對象時，將其中一個大數據對象通過哈希函數分解為多個小數據對象，將Hash后的小數據對象和需要關聯的大數據對象寫入HDFS上，以大數據對象與每個小數據對象之間的關聯方式進行關聯，每個關聯的結果所產生在HDFS上的輸出的組合對應于二級分區目錄；

當存在關聯時，將所有存在關聯的記錄作為關聯后的新數據對象輸出。

2.如權利要求1所述的方法，其特征在于，進一步包括：

當多個數據對象需要關聯時，根據關聯字段將多個對象之間的關聯分解為每兩個對象之間的多次關聯。

3.一種對利用如權利要求1或2任一所述方法關聯的數據進行加載的方法，其特征在于，包括：

接收關聯后的新數據對象；

對于小數據對象關聯后的新數據對象，根據新數據對象的模式設置Hadoop平臺上指定組件的存儲模式，將所述新數據對象通過所述指定組件的加載接口加載到指定組件上；

對于其中一個是大數據對象的兩個數據對象關聯后的新數據對象，直接存儲于HDFS上；當需要加載到HBase時，根據新數據對象的模式設置HBase組件的存儲模式，利用HBase組件的接口導入到HBase中；當需要加載到Hive時，根據新數據對象的模式建立外部表，并將該數據對象映射到表上；

對于含有分區信息的新數據對象，在HDFS上定義二級分區；在Hive上建立外部表并將該數據對象映射到表上；在HBase上設置表模式后建立與Hash數量對等的表，將HDFS上的數據通過HBase組件的接口導入到HBase中。

4.一種對利用如權利要求1或2任一所述方法關聯的數據進行查詢的方法，其特征在于，包括：

接收查詢請求，所述請求中包括查詢字段；

根據所述查詢字段在所述關聯后的新數據對象中查找并返回查詢結果。

5.一種數據關聯裝置，其特征在于，包括：

確定模塊，用于確定需要關聯的兩個數據對象；

劃分模塊，用于將所有數據對象根據預設的判斷閾值分成大數據對象和小數據對象；

預處理模塊，用于將兩個數據對象中數據量較小的數據對象以(key，value)方式放入內存的類Hashtable結構中，對另一數據對象中的每條記錄生成對應的key值，通過對key值進行哈希Hash確定每條記錄是否與內存中的key值關聯；當需要關聯的兩個數據對象中有一個是大數據對象時，將需要關聯的大數據對象加載到分HDFS上，將小數據對象通過DistributedCache機制在Map開始前傳至內存中；所述關聯模塊用于在Map執行過程中將大數據對象與內存中的小數據對象進行關聯；當需要關聯的兩個數據對象均為大數據對象時，將其中一個大數據對象通過哈希函數分解為多個小數據對象，將Hash后的小數據對象和需要關聯的大數據對象寫入HDFS上，以大數據對象與每個小數據對象之間的關聯方式進行關聯；所述關聯模塊用于將每個關聯的結果所產生在HDFS上的輸出的組合對應于二級分區目錄；

關聯模塊，用于當存在關聯時，將所有存在關聯的記錄作為關聯后的新數據對象輸出。

6.如權利要求5所述的裝置，其特征在于，進一步包括：

分解模塊，用于當多個數據對象需要關聯時，根據關聯字段將多個對象之間的關聯分解為每兩個對象之間的多次關聯。