[發明專利]一種索引數據壓縮以及索引數據搜索的方法和設備

有效

• 申請號: 201310551639.4
• 申請日: 2013-11-07
• 公開（公告）號: CN104636349B
• 公開（公告）日: 2018-05-22
• 發明（設計）人: 黃貴;乘羽;陽振坤
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 林祥

本申請公開了一種索引數據壓縮以及索引數據搜索的方法和設備，包括：在得到索引信息列表之后，按照索引信息列表中列索引數據的排列順序，依次比較相鄰兩行中同一列的列索引數據是否相同；當相鄰兩行中同一列的列索引數據相同時，對相同的列索引數據進行壓縮；當相鄰兩行中同一列的列索引數據不相同時，記錄相鄰兩行中比較結果不相同的同一列的列索引數據以及對應的位置信息，并壓縮相鄰兩行中比較結果不相同的同一列之后的其他列的列索引數據；在對索引信息列表中每一行對應的列索引數據壓縮處理執行完畢后，根據壓縮處理后得到的列索引數據，生成針對索引信息列表的索引數組，索引數組存儲容量減小，且數據量較小保證了列索引數據的查找效率。

技術領域

本申請涉及數據信息處理領域，尤其涉及一種索引數據壓縮以及索引數據搜索的方法和設備。

背景技術

隨著互聯網技術和計算機技術的不斷發展，一個數據文件中包含的信息量越來越大，導致存儲在數據庫中占用的存儲容量也隨之增加。

為了方便對一個數據文件中數據信息的查找，每一個數據文件中存放的數據將按照一種設定的存放順序存儲。此外，當數據文件中的數據量達到1TB時，通常將數據文件中的數據劃分成大小相同的數據塊，并為劃分得到的每一個數據塊確定一個主鍵索引（例如，每一個數據塊的最后一行數據信息作為該數據塊的索引信息），最后將確定的每一個數據塊的主鍵索引組合得到針對該數據文件的索引信息表。

在對該數據文件的數據信息進行查找時，首先，通過該索引信息表查找到該數據文件的數據塊；其次，按照二分查找的方式找到該數據塊中的指定行；最后，在該指定行中找到需要的數據信息。

但是，索引信息列表的容量大小是由數據文件中的數據量和每一個數據塊的數據量決定的。當數據文件中的數據量比較大，每一個數據塊的數據量比較小時，導致生成的索引信息列表的容量也比較大；當數據文件中的數據量比較大，每一個數據塊的數據量比較小時，導致生成的索引信息列表的容量比較小，但是利用索引信息列表查找數據信息的速率將降低。

例如：一個數據文件中包含了1TB的數據量，假設劃分的每一個數據塊的大小為1GB，這樣將得到103個數據塊，即生成的索引信息列表中包含了103個主鍵索引，其中，每一個主鍵索引中包含了多個列數據信息。

在查找數據信息時，首先，需要在103個主鍵索引中確定需要的主鍵索引；其次，根據確定的主鍵索引，找到對應的數據塊；最后在1GB的數據塊中查找到需要的數據信息。

然而，由于索引信息列表的數據量比較小，搜索服務器的內存能夠滿足其需求，但是確定的數據塊的容量比較大，使得最后查找數據信息的效率低且精度也不高。

假設劃分的每一個數據塊的大小為1MB，這樣將得到106個數據塊，即生成的索引信息列表中包含了106個主鍵索引，其中，每一個主鍵索引中包含了多個列數據信息。

在查找數據信息時，首先，需要在106個主鍵索引中確定需要的主鍵索引；其次，根據確定的主鍵索引，找到對應的數據塊；最后在1MB的數據塊中查找到需要的數據信息。

由于索引信息列表的數據量比較大，確定的數據塊的容量比較小，使得最后查找數據信息的精度提高，但是查找到數據信息的效率不高，并且搜索服務器的內存也無法滿足其需求。

發明內容

本申請提供了一種索引數據壓縮以及索引數據搜索的方法和設備，用于解決如何在保證查找數據信息效率與精度的前提下降低索引信息列表的數據容量的問題。

一種索引數據壓縮的方法，包括：