[發明專利]一種緩存數據同步方法、裝置、電子設備和可讀存儲介質

在審

• 申請號: 202010968565.4
• 申請日: 2020-09-15
• 公開（公告）號: CN112182097A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 李揚;孫炎森;徐曉劍;齊亮;滕其武;鄭朋;沈全增;李興
• 申請（專利權）人: 中信銀行股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/28;G06F16/2455;G06F11/07;G06F9/50
• 代理公司: 北京市蘭臺律師事務所 11354
• 代理人: 張峰

本申請涉及數據處理技術領域，尤其涉及一種緩存數據同步方法、裝置、電子設備和可讀存儲介質，所述方法包括：緩存向數據庫請求目標數據；將所述數據庫發送的目標數據按照流式查詢方式加載于緩存內存中；將所述內存中的目標數據寫入分布式緩存數據存儲區。本申請實施例公開的緩存數據同步方案避免了現有技術中數據庫數據寫入緩存組件內存出現的內存外溢問題同時提升了緩存數據加載和同步速度。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種緩存數據同步方法、裝置、電子設備和可讀存儲介質。

背景技術

在數據庫與緩存結合使用的應用中，通常緩存是作為數據庫的數據子集，存儲部分高頻訪問的數據庫表內數據，在保持緩存命中率的情況下，加快查詢響應速度也是一個重要的需求。目前從數據庫獲取數據寫入緩存時，均是將符合條件的數據緩存到驅動內存中，在訪問大量數據庫數據以及在緩存內存中寫入大量數據時極易造成會內存外溢(OOM)。另外目前將訪問的數據寫入ignite等緩存組件時，通常都是按順序寫入或者通過小批量形式寫入，寫入速度較慢。

發明內容

本申請的目的旨在至少能解決上述的技術缺陷之一。本申請所采用的技術方案如下：

第一方面，本申請實施例提供一種緩存數據同步方法，所述方法包括：

緩存向數據庫請求目標數據；

將所述數據庫發送的目標數據按照流式查詢方式加載于緩存內存中；

將所述內存中的目標數據寫入分布式緩存數據存儲區。

可選地，所述緩存為分布式緩存；

將所述數據庫發送的目標數據按照流式查詢方式加載于分布式緩存內存中。

可選地，所述將所述內存中的目標數據寫入分布式緩存數據存儲區包括：

使用并發流將所述內存中目標數據寫入分布式緩存數據存儲區。

可選地，所述分布式緩存向數據庫請求目標數據包括：

所述分布式緩存通過驅動程序向所述數據庫發送查詢指令；所述查詢指令用于請求目標數據。

可選地，所述數據庫為MySQL數據庫；所述分布式緩存為Apache ignite。

可選地，所述使用并發流將所述內存中目標數據寫入分布式緩存數據存儲區包括：

通過異步編程方式使用并發流處理將所述內存中目標數據寫入分布式緩存數據存儲區。

第二方面，本申請實施例提供了一種緩存數據同步裝置，所述裝置包括：請求模塊和寫入模塊；其中，

所述請求模塊，用于控制緩存向數據庫請求目標數據；

所述寫入模塊，用于將所述數據庫發送的目標數據按照流式查詢方式加載于緩存內存中；

所述寫入模塊，還用于將所述內存中的目標數據寫入分布式緩存數據存儲區。

可選地，所述緩存為分布式緩存；

所述寫入模塊，具體用于將所述數據庫發送的目標數據按照流式查詢方式加載于分布式緩存內存中。

所述寫入模塊，還用于使用并發流將所述內存中目標數據寫入分布式緩存數據存儲區。

第三方面，本發明實施例提供了一種電子設備，包括處理器和存儲器；

所述存儲器，用于存儲操作指令；

所述處理器，用于通過調用所述操作指令，執行上述緩存數據同步方法。