[發(fā)明專利]一種基于單機(jī)存儲引擎的數(shù)據(jù)處理方法和裝置

有效

• 申請?zhí)枺?/td>: 202210400144.0
• 申請日: 2022-04-15
• 公開（公告）號: CN114780031B
• 公開（公告）日: 2022-11-11
• 發(fā)明（設(shè)計）人: 李冬冬;徐文豪;王弘毅;張凱
• 申請（專利權(quán)）人: 北京志凌海納科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京繪聚高科知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11832
• 代理人: 汪帆

1.一種基于單機(jī)存儲引擎的數(shù)據(jù)處理方法，其特征在于，應(yīng)用于基于單機(jī)存儲引擎構(gòu)建的服務(wù)器，所述服務(wù)器包括多個緩存層，其中，所述多個緩存層依次為超高速緩存層，高速緩存層和容量層，包括：

獲取待存儲邏輯卷，將所述待存儲邏輯卷存入所述高速緩存層，并確定出所述待存儲邏輯卷是否攜帶用戶標(biāo)記，其中，所述用戶標(biāo)記包括：強(qiáng)制性標(biāo)記和非強(qiáng)制性標(biāo)記；所述強(qiáng)制性標(biāo)記用于表征所述待存儲邏輯卷對應(yīng)的緩存層；所述非強(qiáng)制性標(biāo)記用于表征所述待存儲邏輯卷的類型，其中，所述類型包括：熱數(shù)據(jù)和冷數(shù)據(jù)；

若所述待存儲邏輯卷攜帶所述用戶標(biāo)記，則基于所述用戶標(biāo)記，將所述待存儲邏輯卷寫入對應(yīng)的緩存層，包括：若所述待存儲邏輯卷攜帶的所述非強(qiáng)制性標(biāo)記的類型為熱數(shù)據(jù)，則將所述待存儲邏輯卷寫入所述超高速緩存層；若所述待存儲邏輯卷攜帶的所述非強(qiáng)制性標(biāo)記的類型為冷數(shù)據(jù)，則將所述待存儲邏輯卷寫入所述容量層；

若所述待存儲邏輯卷未攜帶所述用戶標(biāo)記，則基于空間局部性確定出所述待存儲邏輯卷中的第一目標(biāo)數(shù)據(jù)塊，其中，所述第一目標(biāo)數(shù)據(jù)塊對應(yīng)的數(shù)據(jù)塊存儲在所述超高速緩存層，所述對應(yīng)的數(shù)據(jù)塊為與所述第一目標(biāo)數(shù)據(jù)塊的邏輯地址相鄰的數(shù)據(jù)塊；

將所述第一目標(biāo)數(shù)據(jù)塊寫入至所述超高速緩存層。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

確定出第一目標(biāo)緩存層中的第二目標(biāo)數(shù)據(jù)塊，其中，所述第一目標(biāo)緩存層包括：高速緩存層和容量層，所述第二目標(biāo)數(shù)據(jù)塊為所述第一目標(biāo)緩存層中除所述強(qiáng)制性標(biāo)記對應(yīng)的數(shù)據(jù)塊以外目標(biāo)時長最短的數(shù)據(jù)塊，所述目標(biāo)時長為最近一次訪問時刻與當(dāng)前訪問時刻之間的時長；

若所述第一目標(biāo)緩存層為所述高速緩存層，則將所述第二目標(biāo)數(shù)據(jù)塊和所述第二目標(biāo)數(shù)據(jù)塊的邏輯地址相鄰的數(shù)據(jù)塊寫入所述超高速緩存層；

若所述第一目標(biāo)緩存層為所述容量層，則將所述第二目標(biāo)數(shù)據(jù)塊和所述第二目標(biāo)數(shù)據(jù)塊的邏輯地址相鄰的數(shù)據(jù)塊寫入所述高速緩存層。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

確定出第二目標(biāo)緩存層中的第三目標(biāo)數(shù)據(jù)塊，其中，所述第二目標(biāo)緩存層包括：超高速緩存層和高速緩存層，所述第三目標(biāo)數(shù)據(jù)塊為所述第二目標(biāo)緩存層中除所述強(qiáng)制性標(biāo)記對應(yīng)的數(shù)據(jù)塊以外所述目標(biāo)時長最長的數(shù)據(jù)塊；

若所述第二目標(biāo)緩存層為所述超高速緩存層且所述高速緩存層中不包括與所述第三目標(biāo)數(shù)據(jù)塊相同的數(shù)據(jù)塊，則將所述第三目標(biāo)數(shù)據(jù)塊寫入所述高速緩存層，并從所述超高速緩存層中刪除所述第三目標(biāo)數(shù)據(jù)塊；

若所述第二目標(biāo)緩存層為所述高速緩存層且所述容量中不包括與所述第三目標(biāo)數(shù)據(jù)塊相同的數(shù)據(jù)塊，則將所述第三目標(biāo)數(shù)據(jù)塊寫入所述容量層，并從所述高速緩存層中刪除所述第三目標(biāo)數(shù)據(jù)塊。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

若所述第二目標(biāo)緩存層為所述超高速緩存層且所述高速緩存層中包括與所述第三目標(biāo)數(shù)據(jù)塊相同的數(shù)據(jù)塊，則從所述超高速緩存層中刪除所述第三目標(biāo)數(shù)據(jù)塊；

若所述第二目標(biāo)緩存層為所述高速緩存層且所述容量中包括與所述第三目標(biāo)數(shù)據(jù)塊相同的數(shù)據(jù)塊，則從所述高速緩存層中刪除所述第三目標(biāo)數(shù)據(jù)塊。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

按照預(yù)設(shè)周期對所述多個緩存層進(jìn)行掃描，確定出第四目標(biāo)數(shù)據(jù)塊，其中，所述第四目標(biāo)數(shù)據(jù)塊所處的緩存層與第四目標(biāo)數(shù)據(jù)塊的強(qiáng)制性用戶標(biāo)記對應(yīng)的緩存層不同；

將所述第四目標(biāo)數(shù)據(jù)塊寫入所述強(qiáng)制性用戶標(biāo)記對應(yīng)的緩存層。