[發明專利]數據存儲管理方法、裝置、電子設備和可讀存儲介質

在審

• 申請號: 202110003675.1
• 申請日: 2021-01-04
• 公開（公告）號: CN112650807A
• 公開（公告）日: 2021-04-13
• 發明（設計）人: 劉袁
• 申請（專利權）人: 成都知道創宇信息技術有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25;G06F16/2455;G06F9/48
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 徐麗

本申請實施例提供一種數據存儲管理方法、裝置、電子設備和可讀存儲介質，通過將獲取的待存儲數據緩存至Redis隊列中，并探測數據庫是否存在網絡異常，若出現網絡異常則將Redis隊列中緩存的待存儲數據保存至創建的文件中，在探測到數據庫恢復網絡正常之后，再將文件中的待存儲數據寫入至數據庫中。如此，在出現網絡異常的情況時，通過將Redis隊列中的數據寫入文件中，避免后續接收到的數據由于在Redis隊列中堆積而造成數據丟棄的問題，并且，由于文件中存儲的數據斷電不丟失，可避免程序崩潰時存在的數據丟失的缺陷。

技術領域

本申請涉及存儲技術領域，具體而言，涉及一種數據存儲管理方法、裝置、電子設備和可讀存儲介質。

背景技術

在分布式數據存儲系統中，由于節點可能存在跨IDC(Internet Data Center，互聯網數據中心)機房的場景，因此，極易出現網絡不穩定的現象。目前，在向數據庫進行數據寫入時，如果出現網絡異常情況，寫入進程會將寫入失敗的數據緩存到內存中，然后不斷進行數據寫入的重試，直至數據寫入成功。如此，后續所接收到的待存儲的數據可能在內存中堆積，直至超過設置的最大使用內存后，數據將被丟棄。并且，堆積的數據將占用大量的內存，若程序崩潰，緩存在內存中的數據將丟失。現有的存儲管理機制中，在出現網絡異常時，可能導致數據的丟棄，且若出現程序崩潰，將導致內存隊列中數據的丟失。

發明內容

本申請的目的包括，例如，提供了一種數據存儲管理方法、裝置、電子設備和計算機可讀存儲介質，其能夠避免數據在內存中堆積所導致丟棄以及程序崩潰存在的數據丟失現象。

本申請的實施例可以這樣實現：

第一方面，本申請實施例提供一種數據存儲管理方法，所述方法包括：

將獲取的多個待存儲數據緩存至Redis隊列中；

探測數據庫是否出現網絡異常，若出現網絡異常則將所述Redis隊列中的待存儲數據保存至創建的文件中；

在探測到所述數據庫恢復至網絡正常時，將所述文件中的待存儲數據寫入至所述數據庫中。

在可選的實施方式中，所述Redis隊列包括與主數據庫對應的主Redis隊列，以及與備用數據庫對應的備用Redis隊列；

所述將獲取的多個待存儲數據緩存至Redis隊列中的步驟，包括：

通過主進程將獲取的多個待存儲數據緩存至主Redis隊列中；

將所述主Redis隊列中緩存的待存儲數據復制備份至備用Redis隊列中。

在可選的實施方式中，所述文件包括與主數據庫對應的主文件，以及與備用數據庫對應的備用文件；

所述在探測到所述數據庫恢復至網絡正常時，將所述文件中的待存儲數據寫入至所述數據庫中的步驟，包括：

在探測到所述主數據庫恢復至網絡正常時，通過所述主進程將所述主文件中的待存儲數據寫入至所述主數據庫中；和/或

在探測到所述備用數據庫恢復至網絡正常時，通過備用進程將所述備用文件中的待存儲數據寫入至所述備用數據庫中。

在可選的實施方式中，所述將獲取的多個待存儲數據緩存至Redis隊列中的步驟，包括：

通過主進程將獲取的多個待存儲數據緩存至主Redis隊列中；

將所述主Redis隊列中緩存的多個待存儲數據分發至創建的多個線程中各所述線程對應的子隊列；

將所述Redis隊列中已分發至各所述子隊列的待存儲數據刪除。

在可選的實施方式中，所述探測數據庫是否出現網絡異常，若出現網絡異常則將所述Redis隊列中的待存儲數據保存至創建的文件中的步驟，包括：