[發明專利]一種用于自增式數據檢索的裝置和方法

在審

• 申請號: 202211455584.2
• 申請日: 2022-11-21
• 公開（公告）號: CN116610665A
• 公開（公告）日: 2023-08-18
• 發明（設計）人: 雷桔;王剛;王家賓;黃文文
• 申請（專利權）人: 天翼數字生活科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/242;G06F16/2453;G06F16/2455
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 錢盛赟;蔡悅

本發明公開了一種用于自增式數據檢索的裝置和方法。該裝置包括一級索引構造模塊、二級索引構造模塊、待檢索數據確定模塊和數據檢索模塊。一級索引構造模塊和二級索引構造模塊分別構造用于快速檢索數據的多個一級索引頁和多個二級索引頁并且一級索引頁和二級索引頁之間具有基于頁地址的對應關系。當待檢索數據確定模塊接收到待索引行數據的主鍵ID時，數據檢索模塊基于該主鍵ID來確定多個一級索引頁中的與該主鍵ID相關聯的一級索引頁并基于該一級索引頁中的與該主鍵ID相對應的頁地址來確定多個二級索引頁組件中的與該頁地址相對應的二級索引頁，并通過該二級索引頁基于該主鍵ID來定位到要檢索的行數據。

技術領域

本發明涉及信息技術，尤其涉及海量數據快速檢索的技術。

背景技術

當前MYSQL主鍵數據檢索采用的B+樹索引結構來進行，由于該MYSQL主鍵索引結構的局限性，數據量在3萬-2000萬左右B+樹層高為3，需要IO三次，隨著數據量增大，需要IO的次數更多由于該數據庫結構特性，隨著數據量的增加，B+樹層級會越來越高，導致IO檢索效率變低。圖1示出了現有技術中的MYSQL主鍵索引方案。

如圖1所示，104代表主鍵id，102為頁地址，106為行數據。如果當前需要檢索id＝12的行數據，先從頁1判斷(第一次IO)，發現11221，因此查找第二層頁2(第二次IO)，再次判斷出1112，則繼續查找第三層頁6(第三次IO),最終在頁6里結合頁目錄查找到id＝12的行數據。本流程一共涉及3次IO，且隨著數據量增大，B+樹層級會越來越高，IO次數也會越大，查詢效率也會降低。

因此，需要能夠改進現有技術中的缺陷的方法和系統，即需要一種不隨數據量改變而影響查詢效率的方案。

發明內容

提供本發明內容來以簡化形式介紹將在以下具體實施方式部分中進一步描述的一些概念。本發明內容并不旨在標識出所要求保護的主題的關鍵特征或必要特征，也不旨在用于幫助確定所要求保護的主題的范圍。

針對現有技術中的技術問題，本發明公開了一種用于自增式數據檢索的裝置和方法。該裝置包括一級索引構造模塊、二級索引構造模塊、待檢索數據確定模塊和數據檢索模塊。一級索引構造模塊和二級索引構造模塊分別構造用于快速檢索數據的多個一級索引頁和多個二級索引頁并且一級索引頁和二級索引頁之間具有基于頁地址的對應關系。當待檢索數據確定模塊接收到待索引行數據的主鍵ID時，數據檢索模塊基于該主鍵ID來確定多個一級索引頁中的與該主鍵ID相關聯的一級索引頁并基于該一級索引頁中的與該主鍵ID相對應的頁地址來確定多個二級索引頁組件中的與該頁地址相對應的二級索引頁，并通過該二級索引頁基于該主鍵ID來定位到要檢索的行數據。

由此，本發明實現了MYSQL海量數據查詢優化(諸如適用于視頻監控業務場景)，并且隨著數據的增加，IO次數永遠保持2次。

具體而言，在本發明的一個實施例中，提供了一種用于自增式數據檢索的裝置，該裝置包括：

一級索引構造模塊，其被配置成構造多個一級索引頁，每個一級索引頁包括主鍵ID以及與該主鍵ID一一對應的頁地址；

二級索引構造模塊，其被配置成構造多個二級索引頁，每個二級索引頁包括主鍵ID以及與該主鍵ID一一相對應的行數據，其中該多個二級索引頁與該多個一級索引頁之間具有基于該頁地址的對應關系；

待檢索數據確定模塊，其被配置成確定要檢索的行數據以及該行數據的主鍵ID；以及

數據檢索模塊，其被配置成：

基于要檢索的行數據的主鍵ID來確定該多個一級索引頁中的與該主鍵ID相關聯的一級索引頁；

基于該一級索引頁中的與該主鍵ID相對應的頁地址來確定該多個二級索引頁組件中的與該頁地址相對應的二級索引頁；以及

通過該二級索引頁基于該主鍵ID來定位到要檢索的行數據。