[發(fā)明專利]一種數(shù)據(jù)處理方法和裝置

在審

• 申請?zhí)枺?/td>: 201811231230.3
• 申請日: 2018-10-22
• 公開（公告）號: CN109521957A
• 公開（公告）日: 2019-03-26
• 發(fā)明（設(shè)計）人: 李杰;張在貴
• 申請（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王寶筠

本申請實施例公開了一種數(shù)據(jù)處理方法及裝置，在向分布式存儲系統(tǒng)中寫入目標(biāo)數(shù)據(jù)時，同時將緩存數(shù)據(jù)寫入緩存池，其中緩存池基于大于或等于100GB的存儲設(shè)備構(gòu)建而成。在需要進(jìn)行待處理數(shù)據(jù)的讀取時，可以在緩存池中的緩存數(shù)據(jù)中查找待處理數(shù)據(jù)，讀取查找到的待處理數(shù)據(jù)對讀取的待處理數(shù)據(jù)進(jìn)行處理。由于存儲設(shè)備的容量大于內(nèi)存設(shè)備，因此可以在緩存池中存儲較多的緩存數(shù)據(jù)，在提高數(shù)據(jù)的讀取效率的同時，能夠提高待處理數(shù)據(jù)的讀取命中率，從而進(jìn)一步降低待處理數(shù)據(jù)的讀取時延，有效提高數(shù)據(jù)讀取效率。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，特別是涉及一種數(shù)據(jù)處理方法和裝置。

背景技術(shù)

分布式存儲，是將數(shù)據(jù)分散存儲在多臺獨立的設(shè)備上，相較于傳統(tǒng)的存儲方式中采用集中的存儲服務(wù)器存儲所有數(shù)據(jù)，分布式存儲采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu)，利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷，提高了可靠性、可用性以及擴(kuò)展性，但同時，分布式存儲在讀取效率上不具有優(yōu)勢，具有一定的時延。

現(xiàn)有技術(shù)中為了提高分布式存儲的讀取效率，可以增加內(nèi)存設(shè)備來存儲部分?jǐn)?shù)據(jù)，由于從內(nèi)存設(shè)備中讀取數(shù)據(jù)的速度高于從分布式存儲系統(tǒng)中讀取數(shù)據(jù)的速度，因此可以提高數(shù)據(jù)讀取效率。但是這種數(shù)據(jù)讀取方式中，內(nèi)存設(shè)備中存儲的部分?jǐn)?shù)據(jù)可能不是需要讀取的數(shù)據(jù)，因此數(shù)據(jù)讀取的命中率往往較低，數(shù)據(jù)讀取效率的提高受限。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本申請實施例提供一種數(shù)據(jù)處理方法，用于提高數(shù)據(jù)讀取的命中率，進(jìn)而提高數(shù)據(jù)讀取效率。

本申請實施例提供了一種數(shù)據(jù)處理方法，所述方法包括：

在緩存池中查找待處理數(shù)據(jù)；所述緩存池中存儲有緩存數(shù)據(jù)，所述緩存數(shù)據(jù)在向分布式存儲系統(tǒng)中寫入目標(biāo)數(shù)據(jù)時寫入所述緩存池，所述緩存池基于大于或等于100GB的存儲設(shè)備構(gòu)建而成；

讀取查找到的所述待處理數(shù)據(jù)。

可選的，所述方法還包括：

若緩存池中不存在所述待處理數(shù)據(jù)，則從所述分布式存儲系統(tǒng)中讀取所述待處理數(shù)據(jù)，將所述待處理數(shù)據(jù)寫入緩存池中。

可選的，所述方法還包括：

在所述緩存池的利用率超過預(yù)設(shè)值時，刪除較舊的預(yù)設(shè)數(shù)據(jù)的緩存數(shù)據(jù)；和/或，

刪除存儲時間超過預(yù)設(shè)時間閾值的緩存數(shù)據(jù)。

可選的，所述緩存數(shù)據(jù)為單副本數(shù)據(jù)。

可選的，所述緩存數(shù)據(jù)與所述目標(biāo)數(shù)據(jù)相同。

可選的，所述緩存數(shù)據(jù)為所述目標(biāo)數(shù)據(jù)中的部分?jǐn)?shù)據(jù)。

可選的，所述存儲設(shè)備包括固態(tài)硬盤、隨機(jī)存儲器或硬盤驅(qū)動器。

本申請實施例還提供了一種數(shù)據(jù)處理裝置，所述裝置包括：

查找單元，用于在緩存池中查找待處理數(shù)據(jù)；所述緩存池中存儲有緩存數(shù)據(jù)，所述緩存數(shù)據(jù)在向分布式存儲系統(tǒng)中寫入目標(biāo)數(shù)據(jù)時寫入所述緩存池，所述緩存池基于大于或等于100GB的存儲設(shè)備構(gòu)建而成；

讀取單元，用于讀取查找到的所述待處理數(shù)據(jù)。

可選的，所述裝置還包括：

讀寫單元，用于若緩存池中不存在所述待處理數(shù)據(jù)，則從所述分布式存儲系統(tǒng)中讀取所述待處理數(shù)據(jù)，將所述待處理數(shù)據(jù)寫入緩存池中。

可選的，所述裝置還包括：

刪除單元，用于在所述緩存池的利用率超過預(yù)設(shè)值時，刪除較舊的預(yù)設(shè)數(shù)據(jù)的緩存數(shù)據(jù)；和/或，

刪除存儲時間超過預(yù)設(shè)時間閾值的緩存數(shù)據(jù)。

可選的，所述緩存數(shù)據(jù)為單副本數(shù)據(jù)。