[發(fā)明專(zhuān)利]用于對(duì)內(nèi)存進(jìn)行分區(qū)的方法、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310561033.2
• 申請(qǐng)日: 2023-05-17
• 公開(kāi)（公告）號(hào): CN116578239A
• 公開(kāi)（公告）日: 2023-08-11
• 發(fā)明（設(shè)計(jì)）人: 韓煜星;陳立翔;楊程程;羅旋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 抖音視界有限公司;華東師范大學(xué)
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06;G06F12/02;G06F16/172;G06F16/14
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 李輝

本公開(kāi)的實(shí)施例提供了一種用于內(nèi)存的分區(qū)方法、電子設(shè)備和計(jì)算機(jī)程序介質(zhì)。該方法包括將接收到的數(shù)據(jù)以文件的形式存儲(chǔ)在內(nèi)存的文件層上。該方法還可以包括確定文件層上的數(shù)據(jù)的數(shù)據(jù)量超過(guò)數(shù)據(jù)量閾值。該方法還可以包括從與所述文件相對(duì)應(yīng)的多個(gè)鍵值對(duì)中選擇至少一個(gè)鍵，作為至少一個(gè)分區(qū)鍵，并且基于至少一個(gè)分區(qū)鍵，針對(duì)內(nèi)存的文件層進(jìn)行分區(qū)，以獲得多個(gè)虛擬分區(qū)。通過(guò)采用根據(jù)本公開(kāi)實(shí)施例的方法，能夠有效地縮小應(yīng)用調(diào)整合并策略的區(qū)域，從而可以更加容易地實(shí)現(xiàn)針對(duì)特定數(shù)據(jù)調(diào)整合并策略，極大地節(jié)省查詢(xún)操作的讀寫(xiě)開(kāi)銷(xiāo)，并且提高硬盤(pán)寬帶利用率，提升日志結(jié)構(gòu)合并樹(shù)的整體吞吐量。

技術(shù)領(lǐng)域

本公開(kāi)總體上涉及計(jì)算機(jī)領(lǐng)域，并且更具體地涉及用于對(duì)內(nèi)存進(jìn)行分區(qū)的操作方法、電子設(shè)備以及計(jì)算機(jī)存儲(chǔ)介質(zhì)。

背景技術(shù)

日志結(jié)構(gòu)合并樹(shù)(LSM-Tree)是一種面向?qū)懭雰?yōu)化的數(shù)據(jù)結(jié)構(gòu)，并被廣泛應(yīng)用于數(shù)據(jù)庫(kù)存儲(chǔ)引擎中。日志結(jié)構(gòu)合并樹(shù)提供鍵值對(duì)(key-value)的寫(xiě)入、刪除、修改和查詢(xún)功能。日志結(jié)構(gòu)合并樹(shù)在寫(xiě)數(shù)據(jù)的時(shí)候，先將數(shù)據(jù)寫(xiě)入到內(nèi)存中，當(dāng)數(shù)據(jù)量達(dá)到預(yù)定的量之后，再以有序文件的形式被持久化存儲(chǔ)到硬盤(pán)中。日志結(jié)構(gòu)合并樹(shù)將硬盤(pán)上的數(shù)據(jù)分層存儲(chǔ)，數(shù)據(jù)每合并一次之后就被寫(xiě)入到下一層。在對(duì)硬盤(pán)上的數(shù)據(jù)進(jìn)行查詢(xún)的時(shí)候，通常會(huì)采用二分查找法來(lái)對(duì)數(shù)據(jù)進(jìn)行搜索，直到查詢(xún)到所需的數(shù)據(jù)。

發(fā)明內(nèi)容

根據(jù)本公開(kāi)的示例實(shí)施例，提供了一種用于對(duì)內(nèi)存進(jìn)行分區(qū)的方法、電子設(shè)備以及計(jì)算機(jī)存儲(chǔ)介質(zhì)。

在本公開(kāi)的第一方面，提供了一種用于對(duì)內(nèi)存進(jìn)行分區(qū)的方法，包括將接收到的數(shù)據(jù)以文件的形式存儲(chǔ)在內(nèi)存的文件層上。該方法還可以包括確定文件層上的數(shù)據(jù)的數(shù)據(jù)量超過(guò)數(shù)據(jù)量閾值。該方法還可以包括從與所述文件相對(duì)應(yīng)的多個(gè)鍵值對(duì)中選擇至少一個(gè)鍵，作為至少一個(gè)分區(qū)鍵，并且基于至少一個(gè)分區(qū)鍵，針對(duì)內(nèi)存的文件層進(jìn)行分區(qū)，以獲得多個(gè)虛擬分區(qū)。

在本公開(kāi)的第二方面，提供了一種電子設(shè)備，包括：至少一個(gè)處理單元；至少一個(gè)存儲(chǔ)器，至少一個(gè)存儲(chǔ)器被耦合到至少一個(gè)處理單元并且存儲(chǔ)用于由至少一個(gè)處理單元執(zhí)行的指令，該指令當(dāng)由至少一個(gè)處理單元執(zhí)行時(shí)使得電子設(shè)備執(zhí)行根據(jù)本公開(kāi)的第一方面所描述的方法。

在本公開(kāi)的第三方面，提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，該計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)具有在其上存儲(chǔ)的機(jī)器可執(zhí)行指令，該機(jī)器可執(zhí)行指令在由設(shè)備執(zhí)行時(shí)使該設(shè)備執(zhí)行根據(jù)本公開(kāi)的第一方面所描述的方法。

本公開(kāi)的第四方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)可執(zhí)行指令，其中計(jì)算機(jī)可執(zhí)行指令在被處理器執(zhí)行時(shí)實(shí)現(xiàn)根據(jù)本公開(kāi)的第一方面所描述的方法。

提供發(fā)明內(nèi)容部分是為了以簡(jiǎn)化的形式來(lái)介紹一系列概念，它們?cè)谙挛牡木唧w實(shí)施方式中將被進(jìn)一步描述。發(fā)明內(nèi)容部分不旨在標(biāo)識(shí)本公開(kāi)的關(guān)鍵特征或必要特征，也不旨在限制本公開(kāi)的范圍。本公開(kāi)的其它特征將通過(guò)以下的描述變得容易理解。

附圖說(shuō)明

結(jié)合附圖并參考以下詳細(xì)說(shuō)明，本公開(kāi)各實(shí)施例的上述和其他特征、優(yōu)點(diǎn)及方面將變得更加明顯。在附圖中，相同或相似的附圖標(biāo)注表示相同或相似的元素，其中：

圖1示出了本公開(kāi)的實(shí)施例能夠在其中被實(shí)現(xiàn)的示例系統(tǒng)的示意圖；

圖2示出根據(jù)本公開(kāi)實(shí)施例的對(duì)內(nèi)存進(jìn)行分區(qū)的方法的流程圖；

圖3示出根據(jù)本公開(kāi)實(shí)施例的用于觸發(fā)對(duì)硬盤(pán)進(jìn)行物理分區(qū)的示例性方法流程圖；

圖4示意出根據(jù)本公開(kāi)實(shí)施例的用于對(duì)硬盤(pán)進(jìn)行物理分區(qū)劃分的示意性過(guò)程；

圖5A-圖5C示意出根據(jù)本公開(kāi)實(shí)施例的在執(zhí)行合并操作之前的文件序列以及執(zhí)行合并操作并完成物理分區(qū)劃分之后的文件序列的對(duì)比圖；

圖6示出了根據(jù)本公開(kāi)的一些實(shí)施例的示例裝置的示意框圖；以及

圖7示出了可以用來(lái)實(shí)施本公開(kāi)的實(shí)施例的示例設(shè)備的框圖。

具體實(shí)施方式