[發(fā)明專利]一種容災數(shù)據(jù)處理方法和裝置

在審

• 申請?zhí)枺?/td>: 202110450918.6
• 申請日: 2021-04-26
• 公開（公告）號: CN113110948A
• 公開（公告）日: 2021-07-13
• 發(fā)明（設計）人: 孫雪斐
• 申請（專利權）人: 北京京東拓先科技有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54;G06F11/07
• 代理公司: 北京德琦知識產(chǎn)權代理有限公司 11018
• 代理人: 杜志敏;宋志強

本申請?zhí)峁┝艘环N容災數(shù)據(jù)處理方法和裝置，所述方法包括：向MQ服務器發(fā)送請求；若確定MQ服務異常，則停止向MQ服務器發(fā)送請求，并將需要發(fā)送的請求對應的數(shù)據(jù)寫入第一緩沖區(qū)；當?shù)谝痪彺鎱^(qū)寫滿后，切換為寫入第二緩存區(qū)，并開啟新的線程將所述第一緩存區(qū)的數(shù)據(jù)刷新到磁盤中；若確定所述MQ服務恢復正常，則停止向緩存中寫入數(shù)據(jù)；將磁盤中存儲的數(shù)據(jù)發(fā)送給MQ服務器。該方法能夠避免數(shù)據(jù)的丟失，并提高數(shù)據(jù)存儲效率。

技術領域

本發(fā)明涉及數(shù)據(jù)處理技術領域，特別涉及一種容災數(shù)據(jù)處理方法和裝置。

背景技術

目前隨著互聯(lián)網(wǎng)技術的發(fā)展，會有大量的數(shù)據(jù)需要通過消息隊列(MessageQueue，MQ)服務進行傳輸。

在實現(xiàn)本申請的過程中，發(fā)明人發(fā)現(xiàn)當遇到MQ服務異常這種情況時，會導致數(shù)據(jù)的丟失。

發(fā)明內(nèi)容

有鑒于此，本申請?zhí)峁┮环N容災數(shù)據(jù)處理方法和裝置，能夠避免數(shù)據(jù)的丟失，并提高數(shù)據(jù)存儲效率。

為解決上述技術問題，本申請的技術方案是這樣實現(xiàn)的：

在一個實施例中，提供了一種容災數(shù)據(jù)處理方法，所述方法包括：

向MQ服務器發(fā)送請求；

若確定MQ服務異常，則停止向MQ服務器發(fā)送請求，并將需要發(fā)送的請求對應的數(shù)據(jù)寫入第一緩沖區(qū)；

當?shù)谝痪彺鎱^(qū)寫滿后，切換為寫入第二緩存區(qū)，并開啟新的線程將所述第一緩存區(qū)的數(shù)據(jù)刷新到磁盤中；

若確定所述MQ服務恢復正常，則停止向緩存中寫入數(shù)據(jù)；

將磁盤中存儲的數(shù)據(jù)發(fā)送給MQ服務器。

在另一個實施例中，提供了一種容災數(shù)據(jù)處理裝置，所述裝置包括：第一發(fā)送單元、第一確定單元、存儲單元、第二確定單元和第二發(fā)送單元；

所述第一發(fā)送單元，用于向MQ服務器發(fā)送請求；若所述第一確定單元確定MQ服務異常，則停止向MQ服務器發(fā)送請求；

所述第一確定單元，用于確定MQ服務是否異常；

所述存儲單元，用于當所述第一確定單元確定所述MQ服務異常，則將需要發(fā)送的請求對應的數(shù)據(jù)寫入第一緩沖區(qū)；當?shù)谝痪彺鎱^(qū)寫滿后，切換為寫入第二緩存區(qū)，并開啟新的線程將所述第一緩存區(qū)的數(shù)據(jù)刷新到磁盤中；若所述第二確定單元確定所述MQ服務恢復正常，則停止向緩存中寫入數(shù)據(jù)；

所述第二確定單元，用于確定所述MQ服務是否恢復正常；

所述第二發(fā)送單元，用于當所述第二確定單元確定所述MQ服務恢復正常時，將磁盤中存儲的數(shù)據(jù)發(fā)送給MQ服務器。

在另一個實施例中，提供了一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)所述容災數(shù)據(jù)處理方法的步驟。

在另一個實施例中，提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)所述容災數(shù)據(jù)處理方法的步驟。

由上面的技術方案可見，上述實施例中在確定MQ服務異常時，將需要通過MQ服務傳輸?shù)臄?shù)據(jù)在本地存儲；并且在存儲數(shù)據(jù)時通過兩片緩存區(qū)交替緩存，通過異步方式將緩存區(qū)的數(shù)據(jù)刷新到磁盤中；待MQ服務恢復正常時，通過異步的方式將本地存儲的數(shù)據(jù)發(fā)送到MQ服務器。該方案能夠避免數(shù)據(jù)的丟失，并提高數(shù)據(jù)存儲效率。

附圖說明

為了更清楚地說明本申請實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領域普通技術人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。