[發(fā)明專利]數(shù)據(jù)存儲(chǔ)方法、裝置、設(shè)備及系統(tǒng)、存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011439808.1
• 申請(qǐng)日: 2020-12-11
• 公開（公告）號(hào): CN112416261A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 顧曉健
• 申請(qǐng)（專利權(quán)）人: 上海中通吉網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京細(xì)軟智谷知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11471
• 代理人: 牛晴

1.一種數(shù)據(jù)存儲(chǔ)方法，其特征在于，包括：

將新增數(shù)據(jù)加載到內(nèi)存中進(jìn)行緩存；

檢測(cè)所述內(nèi)存中的緩存數(shù)據(jù)是否達(dá)到預(yù)設(shè)條件，若所述內(nèi)存中的緩存數(shù)據(jù)達(dá)到預(yù)設(shè)條件，利用所述緩存數(shù)據(jù)生成一個(gè)數(shù)據(jù)段；

將所述數(shù)據(jù)段的段信息寫入事務(wù)日志中，將所述事務(wù)日志寫入磁盤；

將所述數(shù)據(jù)段緩存到文件緩存系統(tǒng)中，按照預(yù)設(shè)寫入策略，將所述文件緩存系統(tǒng)中的所述數(shù)據(jù)段寫入到磁盤中進(jìn)行存儲(chǔ)，并同步標(biāo)記寫入狀態(tài)到所述事務(wù)日志。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述將所述文件緩存系統(tǒng)中的所述數(shù)據(jù)段寫入到磁盤中進(jìn)行存儲(chǔ)之后，所述方法還包括：

在所述事務(wù)日志上標(biāo)記所述數(shù)據(jù)段的寫入已完成后，清除所述內(nèi)存中已寫入的所述數(shù)據(jù)段的內(nèi)存區(qū)域。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述將所述文件緩存系統(tǒng)中的所述數(shù)據(jù)段寫入到磁盤中進(jìn)行存儲(chǔ)之后，還包括：

基于所述磁盤中已完成寫入的所述數(shù)據(jù)段，生成對(duì)應(yīng)的提交點(diǎn)信息；

所述將所述文件緩存系統(tǒng)中的所述數(shù)據(jù)段寫入到磁盤中并存儲(chǔ)，包括：

基于上一次寫入的數(shù)據(jù)段的提交點(diǎn)信息，確定本次寫入所述磁盤的位置；

基于本次寫入所述磁盤的位置，將所述數(shù)據(jù)段寫入到磁盤中并存儲(chǔ)。

4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述清除所述內(nèi)存中已寫入的所述數(shù)據(jù)段的內(nèi)存區(qū)域之后，所述方法還包括：

通知數(shù)據(jù)源處理后續(xù)數(shù)據(jù)。

5.根據(jù)權(quán)利要求1所述的數(shù)據(jù)存儲(chǔ)方法，其特征在于，所述段信息包括：所述數(shù)據(jù)段中數(shù)據(jù)的起始位置、數(shù)據(jù)段的名稱和數(shù)據(jù)段的位置。

6.一種數(shù)據(jù)存儲(chǔ)裝置，其特征在于，包括：

加載模塊，用于將新增數(shù)據(jù)加載到內(nèi)存中進(jìn)行緩存；

生成模塊，用于檢測(cè)所述內(nèi)存中的緩存數(shù)據(jù)是否達(dá)到預(yù)設(shè)條件，若所述內(nèi)存中的緩存數(shù)據(jù)達(dá)到預(yù)設(shè)條件，利用所述緩存數(shù)據(jù)生成一個(gè)數(shù)據(jù)段；

第一寫入模塊，用于將所述數(shù)據(jù)段的段信息寫入事務(wù)日志中，將所述事務(wù)日志寫入磁盤；

第二寫入模塊，用于將所述數(shù)據(jù)段緩存到文件緩存系統(tǒng)中，按照預(yù)設(shè)寫入策略，將所述文件緩存系統(tǒng)中的所述數(shù)據(jù)段寫入到磁盤中進(jìn)行存儲(chǔ)，并同步標(biāo)記寫入狀態(tài)到所述事務(wù)日志。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)存儲(chǔ)裝置，其特征在于，還包括清除模塊，所述清除模塊用于：

在所述事務(wù)日志上標(biāo)記所述數(shù)據(jù)段的寫入已完成后，清除所述內(nèi)存中已寫入的所述數(shù)據(jù)段的內(nèi)存區(qū)域。

8.一種數(shù)據(jù)存儲(chǔ)設(shè)備，其特征在于，包括：

處理器，以及與所述處理器相連接的存儲(chǔ)器；

所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序；

所述處理器用于調(diào)用并執(zhí)行所述存儲(chǔ)器中的所述計(jì)算機(jī)程序，以執(zhí)行如權(quán)利要求1-5任一項(xiàng)所述的方法。

9.一種數(shù)據(jù)存儲(chǔ)系統(tǒng)，其特征在于，包括如權(quán)利要求8所述的數(shù)據(jù)存儲(chǔ)設(shè)備。

10.一種存儲(chǔ)介質(zhì)，其特征在于，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)，實(shí)現(xiàn)如權(quán)利要求1-5任一項(xiàng)所述的數(shù)據(jù)存儲(chǔ)方法的各個(gè)步驟。