[發明專利]索引系統、數據處理方法、電子設備及介質

有效

• 申請號: 202210848137.7
• 申請日: 2022-07-19
• 公開（公告）號: CN114942908B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 毛耀寬;裴曉輝;王志強;鮑利平;葉慶華;梅嘉
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/182;G06F3/06
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 蔡麗

本申請實施例提供一種索引系統、數據處理方法、電子設備及介質。在本申請實施例中，索引系統包括第一索引層和第二索引層等兩個索引層，第一索引層維護和管理增量索引文件，第二索引層維護和管理歷史索引文件。每個索引層都可以獨立執行垃圾回收操作（也即單層級GC），進一步地，第一索引層和第二索引層之間還可以進行執行垃圾回收操作（也即層間級GC）。在索引系統應用到文件系統時，特別是支持Append?Only接口的NAS文件系統，能夠有效地降低文件系統的讀放大和寫放大，提供更好的針對索引信息的GC性能。

技術領域

本申請涉及計算機技術領域，尤其涉及一種索引系統、數據處理方法、電子設備及介質。

背景技術

目前，分布式文件存儲系統普遍采用基于LSM架構的kvDB管理和維護存儲在分布式文件存儲系統的文件數據的索引信息。其中，kvDB是一種以鍵值對（key-value）方式進行數據存儲的數據庫。實際應用中，基于LSM架構的kvDB大多使用多層的SStable（sortedstring table，排序字符串表），讀放大和寫放大都非常嚴重；而且，在key（鍵）的長度、key的訪問模式、RangeQuery（查詢范圍）、value（值）的特點等多方面和文件數據的索引信息有較大的區別，導致針對索引信息的垃圾回收（Garbage Collection，GC）性能較差。

發明內容

本申請實施例提供一種索引系統，包括：第一索引層和第二索引層，第一索引層包括第一索引單元和至少一個增量索引文件，第二索引層包括第二索引單元和至少一個歷史索引文件；第一索引單元，用于向至少一個增量索引文件中寫入增量索引信息；響應于針對第一索引層的單層級垃圾回收指令，對至少一個增量索引文件執行垃圾回收操作；第二索引單元，用于向至少一個歷史索引文件中寫入歷史索引信息；響應于針對第二索引層的單層級垃圾回收指令，對至少一個歷史索引文件執行垃圾回收操作。

本申請實施例還提供一種數據處理方法，應用于索引系統，索引系統包括：第一索引層和第二索引層，第一索引層包括至少一個增量索引文件，第二索引層包括至少一個歷史索引文件；該方法包括：在至少一個增量索引文件中包括增量索引信息的情況下，響應于針對第一索引層的單層級垃圾回收指令，對至少一個增量索引文件執行垃圾回收操作；在至少一個歷史索引文件中包括歷史索引信息的情況下，響應于針對第二索引層的單層級垃圾回收指令，對至少一個歷史索引文件執行垃圾回收操作。

本申請實施例還提供一種分布式文件存儲系統，包括：上述索引系統。

本申請實施例還提供一種電子設備，包括：存儲器和處理器；存儲器，用于存儲計算機程序；處理器耦合至存儲器，用于執行計算機程序以用于執行數據處理方法中的步驟。

本申請實施例還提供一種存儲有計算機程序的計算機存儲介質，當計算機程序被處理器執行時，致使處理器能夠實現數據處理方法中的步驟。

在本申請實施例中，索引系統包括第一索引層和第二索引層等兩個索引層，第一索引層維護和管理增量索引文件，第二索引層維護和管理歷史索引文件。每個索引層都可以獨立執行垃圾回收操作（也即單層級GC），進一步地，第一索引層和第二索引層之間還可以進行執行垃圾回收操作（也即層間級GC）。在索引系統應用到文件系統時，特別是支持Append-Only接口的NAS文件系統，能夠有效地降低文件系統的讀放大和寫放大，提供更好的針對索引信息的GC性能。

附圖說明

此處所說明的附圖用來提供對本申請的進一步理解，構成本申請的一部分，本申請的示意性實施例及其說明用于解釋本申請，并不構成對本申請的不當限定。在附圖中：

圖1為本申請實施例提供的一種索引系統的結構示意圖；

圖2為本申請實施例提供的一種分布式文件存儲系統的結構示意圖；

圖3為本申請實施例提供的一種數據處理方法的流程圖；