[發明專利]一種非關系型數據庫動態混合索引方法

有效

• 申請號: 201910327502.8
• 申請日: 2019-04-23
• 公開（公告）號: CN110069500B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 章昭輝;蔣昌俊;王鵬偉;張曉波
• 申請（專利權）人: 東華大學
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/245;G06F16/2458
• 代理公司: 上海申匯專利代理有限公司 31001
• 代理人: 翁若瑩;柏子雵

本發明一種非關系型數據庫動態混合索引方法，其特征在于，包括以下步驟：建立鍵值對非關系型數據庫的非主鍵索引結構；定義非主鍵字段的權重，通過一個周期內字段作為查詢條件的頻次以及字段的歷史權重，更新非主鍵字段的權重值；動態劃分索引類型；進行混合索引。本發明提出的鍵值對非關系型數據庫的混合索引方法，可以有效的提升非主鍵字段的條件查詢效率。該方法克服了鍵值對非關系型數據不支持非主鍵字段不支持索引查詢的弱點，建立了非主鍵字段的混合索引。在大數據的存儲上，即實現了快速查詢的功能，又節省了不必要的存儲開銷。

技術領域

本發明涉及一種大數據檢索中索引建立的方法，屬于大數據存儲、檢索技術領域。

背景技術

分布式非關系型數據庫具有高可用性、高擴展性以及高可靠性，常用來作為大數據的存儲支撐。分布式非關系型數據庫分為文檔型，鍵值對型等多種類型，它們有各自的不足之處。一些鍵值對類型的非關系型分布式數據庫在字段上擁有動態可擴展性，可以靈活的存儲不同結構的數據，但是只能進行主鍵的索引查詢，針對非主鍵的查詢只能進行掃描查找。

很多學者針對這一問題進行了研究，也提出了一些提升檢索速度的解決方法。在針對一些特殊的數據進行存儲時，可以將某些主要字段進行編碼放入主鍵中，提升查詢效率，如空間地理位置數據。Shouwu He等提出使用Geohash算法對經緯度進行編碼降低坐標維度，并使用該編碼作為HBase的rowkey，使用knn算法和矩形范圍查詢來進行空間坐標的查詢。Dandan Shen等在GEOhash編碼方式的基礎上提出了一種近鄰車輛檢索算法，將二維檢索數據映射(map)成一維數據，做為RowKey的前輟，利用了RowKey的B+樹索引，提升了檢索速度。

當數據無法進行特殊處理時，需要建立索引表優化查詢。華為公司研發并開源了非主鍵索引查詢系統Hindex。它通過建立非主鍵的倒排索引表來支持非主鍵的索引查詢，并且基于Region建立局部索引。在每一個Region內建立數據表的相關索引，插入或者查詢數據時使用Region的協處理器將相關操作的作用范圍控制在當前Region內。

Chen Feng等提出局部聚簇(local and cluster)索引LCIndex。在Region內建立局部索引表，并在索引表中存儲與該索引查詢關聯度最高的字段值，使得進行一次查詢，在索引表中即可獲得查詢數據。

Yudong Guo等提出了同構列簇索引(ICF-HBase)。與HiBase一樣建立了非主鍵的倒排索引，不同之處在于ICF-HBase將索引與原數據存放在同一張表中，省去了索引表的維護操作。雖然使用了同一張表，但是通過特殊設計的RowKey前綴將索引和原數據在邏輯上進行隔離，使得在實際查詢過程中可以先進行索引查詢，再根據索引查詢結果進行原數據查詢。

隨著互聯網技術的發展與普及，數據的采集和信息的傳播越來越便捷。日常生活中產生了大量的數據，傳統的關系型數據庫已經無法滿足當下的大數據存儲。為了保證存儲數據的高效性和擴展性，分布式非關系型數據庫得到了廣泛的應用。

分布式非關系型數據庫具有高可用性、高擴展性以及高可靠性。但它也有不足之處，一些鍵值對類型的分布式非關系型數據庫雖然在字段上擁有動態可擴展性，但是只支持主鍵的索引查詢，非主鍵只能進行掃描查詢。如，HBases以Hadoop的HDFS為存儲支撐，具有良好的擴展性和高可用性，能夠滿足大數據的存儲需求。HBase中的主鍵(RoWKey)建立了類B+樹索引，主鍵(RowKey)上的查詢可以在毫秒級時間內得到反饋。但進行非主鍵檢索時，HBase只能進行指定范圍的掃描查詢或者全表掃描查詢，不能實時、快速的得到檢索結果。大數據分析挖掘工作時，常常會針對不同的條件，提取不同的數據子集，這些提取操作涉及了非主鍵的查詢請求，數據提取工作耗費大量時間。

發明內容