[發明專利]數據同步方法、裝置、設備及存儲介質

在審

• 申請號: 202011164017.2
• 申請日: 2020-10-27
• 公開（公告）號: CN112307119A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 曹狄
• 申請（專利權）人: 廣州市網星信息技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/17
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了數據同步方法、裝置、設備及存儲介質。其中，一種數據同步方法應用于跨機房系統中機房內主機，包括：接收針對第一數據條目的更新請求，分配至緩存隊列中，緩存隊列中的項目供第一線程進行消費，在當前項目為更新請求時，將待更新數據更新至緩存和數據庫，在當前項目為同步請求時，將待同步數據更新至緩存，對數據庫中的日志文件進行解析，在得到第一數據條目的同步請求時，分配至緩存隊列中，其中，同步請求由跨機房系統中其他數據庫發送，在接收到同步請求后，根據同步請求對本地的第一數據條目進行更新，并將同步請求寫入日志文件。本發明實施例提供的技術方案，保證低延時同步的前提下，保證緩存和數據庫的一致性。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及數據同步方法、裝置、設備及存儲介質。

背景技術

隨著系統訪問量的持續增加，數據庫磁盤輸入輸出(Input-Output，IO)最終會成為系統性能的瓶頸之一，常見的提高系統的并發讀取每秒查詢率(Queries-per-second，QPS)的方法是引入緩存層，緩存層可以擋下大量的數據庫訪問，取而代之的是高速的內存訪問。

然而，由于緩存和數據庫的更新不能保證原子性，增加緩存層必定會引入雙方數據不一致的問題，在開發過程中，需要從實際使用場景出發，權衡數據讀寫QPS和數據一致性并進行取舍。隨著網絡服務的日益普及，經常需要將一些常用的數據(如業務數據等)同時存儲在多個機房的服務器上，因此，上述問題在全球部署的分布式場景中同樣存在，如何保證單點寫入的數據可快速可靠的更新到各個機房的數據庫和緩存，并且系統保證良好的讀寫QPS是業界長期探討的話題。

目前，基于多機房的數據同步方案一般優先在數據庫層保證多機房的數據一致，本機房緩存設置過期時間，相當于定時從數據庫刷新數據到緩存，此方法需要依賴緩存的過期，實時性較差，若通過縮短緩存過期時間縮減延時又會導致緩存命中率降低，數據庫磁盤IO增加，大量緩存同時過期也會引發緩存雪崩。因此，現有的基于多機房的數據同步方案仍不夠完善，需要改進。

發明內容

本發明實施例提供了數據同步方法、裝置、設備及存儲介質，可以優化現有的基于多機房的數據同步方案。

第一方面，本發明實施例提供了一種數據同步方法，應用于跨機房系統中第一機房內的第一主機，所述方法包括：

接收客戶端發送的針對第一數據條目的第一更新請求；

將所述第一更新請求分配至第一緩存隊列中，其中，所述第一緩存隊列中的項目供對應的第一線程進行消費，在當前項目為更新請求時，由所述第一線程將當前項目對應的待更新數據更新至所述第一主機的第一緩存和第一數據庫，在當前項目為同步請求時，由所述第一線程將當前項目對應的待同步數據更新至所述第一緩存；

對所述第一數據庫中的日志文件進行解析，在得到所述第一數據條目的第一同步請求時，將所述第一同步請求分配至所述第一緩存隊列中，其中，所述第一同步請求由所述跨機房系統中的第二機房內的第二數據庫發送，所述第一數據庫在接收到所述第一同步請求后，根據所述第一同步請求對本地的第一數據條目進行更新，并將所述第一同步請求寫入所述日志文件。

第二方面，本發明實施例提供了一種數據同步方法，該方法包括：

接收第一客戶端發送的針對第一數據條目的讀取請求；

若緩存中不包含所述第一數據條目，則將所述讀取請求分配至第一緩存隊列中，其中，所述第一緩存隊列中的項目供對應的第一線程進行消費，在當前項目為讀取請求時，由所述第一線程從對應的數據庫中讀取所述第一數據條目對應的數據并將所讀取到的數據寫入所述緩存中；

在接收到第二客戶端發送的針對所述第一數據條目的更新請求時，將所述更新請求分配至所述第一緩存隊列中的所述讀取請求的后面，其中，所述第一線程在從對應的數據庫中讀取所述第一數據條目對應的數據并將所讀取到的數據寫入所述緩存中之后，對所述更新請求進行消費。