[發(fā)明專利]高并發(fā)數(shù)據(jù)存儲(chǔ)方法及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711406104.2
• 申請(qǐng)日: 2017-12-22
• 公開（公告）號(hào): CN108170758A
• 公開（公告）日: 2018-06-15
• 發(fā)明（設(shè)計(jì)）人: 劉德建;陳來件;歐寧;李永均;郭玉湖
• 申請(qǐng)（專利權(quán)）人: 福建天泉教育科技有限公司
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 福州市博深專利事務(wù)所(普通合伙) 35214
• 代理人: 林志崢

本發(fā)明公開了一種高并發(fā)數(shù)據(jù)存儲(chǔ)方法及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，方法包括：創(chuàng)建多個(gè)無鎖并發(fā)隊(duì)列緩沖區(qū)；創(chuàng)建空閑緩沖區(qū)隊(duì)列和待消費(fèi)緩沖區(qū)隊(duì)列；從空閑緩沖區(qū)隊(duì)列中選取一緩沖區(qū)作為寫入緩沖區(qū)；根據(jù)預(yù)設(shè)的周期時(shí)間查看寫入緩沖區(qū)，若有數(shù)據(jù)寫入，則將寫入緩沖區(qū)加入至待消費(fèi)緩沖區(qū)隊(duì)列；繼續(xù)執(zhí)行從空閑緩沖區(qū)隊(duì)列中選取一緩沖區(qū)作為寫入緩沖區(qū)的步驟；將待消費(fèi)緩沖區(qū)隊(duì)列中的緩沖區(qū)加入至線程池隊(duì)列；線程池中的線程依次從所述線程池隊(duì)列中取出一緩沖區(qū)進(jìn)行消費(fèi)。本發(fā)明可明確獲取系統(tǒng)的負(fù)載情況、數(shù)據(jù)的生產(chǎn)和消費(fèi)速度，同時(shí)可節(jié)省系統(tǒng)資源。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及一種高并發(fā)數(shù)據(jù)存儲(chǔ)方法及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

現(xiàn)有的高并發(fā)數(shù)據(jù)存儲(chǔ)方案，使用并發(fā)隊(duì)列來緩存數(shù)據(jù)。對(duì)于并發(fā)隊(duì)列進(jìn)行數(shù)據(jù)分片，這里的分片策略可以根據(jù)時(shí)間或者主鍵的特性(如取模、hash)將隊(duì)列中的數(shù)據(jù)劃分。再將分片后的數(shù)據(jù)交由線程池進(jìn)行多線程消費(fèi)。消費(fèi)的含義為：將數(shù)據(jù)傳輸給下游組件，比如將數(shù)據(jù)傳輸至數(shù)據(jù)庫存儲(chǔ)或者如Kafka等消息中間件。

但上述方案存在以下缺點(diǎn)：

1、單一的高并發(fā)隊(duì)列，無法明確的獲取到系統(tǒng)的負(fù)載情況、數(shù)據(jù)的生產(chǎn)和消費(fèi)速度。

2、對(duì)數(shù)據(jù)隊(duì)列的分片操作，無論采用何種分片策略，都將消耗一定的資源；如根據(jù)數(shù)據(jù)的主鍵進(jìn)行hash，就必須對(duì)所有的數(shù)據(jù)的主鍵進(jìn)行hash操作。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是：提供一種高并發(fā)數(shù)據(jù)存儲(chǔ)方法及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，可明確獲取系統(tǒng)的負(fù)載情況、數(shù)據(jù)的生產(chǎn)和消費(fèi)速度，同時(shí)可節(jié)省系統(tǒng)資源。

為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：一種高并發(fā)數(shù)據(jù)存儲(chǔ)方法，包括：

創(chuàng)建多個(gè)無鎖并發(fā)隊(duì)列緩沖區(qū)；

創(chuàng)建空閑緩沖區(qū)隊(duì)列和待消費(fèi)緩沖區(qū)隊(duì)列，所述空閑緩沖區(qū)隊(duì)列用于存儲(chǔ)空閑的緩沖區(qū)，所述待消費(fèi)緩沖區(qū)隊(duì)列用于存儲(chǔ)待消費(fèi)的緩沖區(qū)；

從所述空閑緩沖區(qū)隊(duì)列中選取一緩沖區(qū)作為寫入緩沖區(qū)；

根據(jù)預(yù)設(shè)的周期時(shí)間查看所述寫入緩沖區(qū)，若有數(shù)據(jù)寫入，則將所述寫入緩沖區(qū)加入至待消費(fèi)緩沖區(qū)隊(duì)列；

繼續(xù)執(zhí)行所述從所述空閑緩沖區(qū)隊(duì)列中選取一緩沖區(qū)作為寫入緩沖區(qū)的步驟；

將待消費(fèi)緩沖區(qū)隊(duì)列中的緩沖區(qū)加入至線程池隊(duì)列；

線程池中的線程依次從所述線程池隊(duì)列中取出一緩沖區(qū)進(jìn)行消費(fèi)。

本發(fā)明還涉及一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)以下步驟：

創(chuàng)建多個(gè)無鎖并發(fā)隊(duì)列緩沖區(qū)；

創(chuàng)建空閑緩沖區(qū)隊(duì)列和待消費(fèi)緩沖區(qū)隊(duì)列，所述空閑緩沖區(qū)隊(duì)列用于存儲(chǔ)空閑的緩沖區(qū)，所述待消費(fèi)緩沖區(qū)隊(duì)列用于存儲(chǔ)待消費(fèi)的緩沖區(qū)；

從所述空閑緩沖區(qū)隊(duì)列中選取一緩沖區(qū)作為寫入緩沖區(qū)；

根據(jù)預(yù)設(shè)的周期時(shí)間查看所述寫入緩沖區(qū)，若有數(shù)據(jù)寫入，則將所述寫入緩沖區(qū)加入至待消費(fèi)緩沖區(qū)隊(duì)列；

繼續(xù)執(zhí)行所述從所述空閑緩沖區(qū)隊(duì)列中選取一緩沖區(qū)作為寫入緩沖區(qū)的步驟；

將待消費(fèi)緩沖區(qū)隊(duì)列中的緩沖區(qū)加入至線程池隊(duì)列；

線程池中的線程依次從所述線程池隊(duì)列中取出一緩沖區(qū)進(jìn)行消費(fèi)。