[發明專利]用于復制數據的方法、裝置和系統

有效

• 申請號: 201811255355.X
• 申請日: 2018-10-26
• 公開（公告）號: CN109358817B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 王天宇
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了用于復制數據的方法、裝置和系統。該方法的一具體實施方式包括接收寫請求，其中，寫請求包括待寫數據；將待寫數據對應的物理變更信息寫入主物理日志文件中；讀取主物理日志文件中的物理變更信息；將物理變更信息發送至從數據庫服務器。該實施方式直接將物理變更信息寫入物理日志文件中，而不再將邏輯變更信息寫入二進制日志文件中，降低了數據復制的延時，提高了數據復制的實時性。

技術領域

本申請實施例涉及計算機技術領域，具體涉及用于復制數據的方法、裝置和系統。

背景技術

隨著互聯網數據的爆炸性增長，數據庫作為互聯網數據的存儲介質，承擔了越來越多的數據和對數據的訪問請求。由于數據拆片會引入分布式事務、SQL(StructuredQuery Language，結構化查詢語言)兼容性等帶來的開銷，存在較大成本。因此單實例MySQL(關系型數據庫管理系統)的寫吞吐和高寫吞吐壓力場景下的主從延時成為一個重要指標。

傳統MySQL采用基于二進制日志的數據復制方式，在主數據庫事務過程中涉及到多次IO(Input/Output，輸入/輸出)開銷，以及主從復制給主數據庫帶來的互斥開銷，導致寫吞吐受到一定的影響。如何給MySQL寫邏輯和IO解耦，以及在高寫請求壓力場景下保證主從延時成為一個難題。

發明內容

本申請實施例提出了用于復制數據的方法、裝置和系統。

第一方面，本申請實施例提供了一種用于復制數據的方法，應用于主數據庫服務器，包括：接收寫請求，其中，寫請求包括待寫數據；將待寫數據對應的物理變更信息寫入主物理日志文件中；讀取主物理日志文件中的物理變更信息；將物理變更信息發送至從數據庫服務器。

在一些實施例中，將待寫數據對應的物理變更信息寫入主物理日志文件中，包括：在寫請求對應的事務的提交階段將物理變更信息寫入主物理日志文件中。

在一些實施例中，將待寫數據對應的物理變更信息寫入主物理日志文件中，包括：以四千字節對齊方式將物理變更信息寫入主物理日志文件中。

在一些實施例中，將待寫數據對應的物理變更信息寫入主物理日志文件中，包括：以文件偏移的原子操作方式將物理變更信息寫入主物理日志文件中。

在一些實施例中，讀取主物理日志文件中的物理變更信息，包括：從寫請求對應的事務的開啟階段開始讀取主物理日志文件中的物理變更信息。

在一些實施例中，該方法還包括：響應于接收到全部從數據庫服務器定時發送的可清除最大歷史版本，基于接收到的可清除最大歷史版本向從數據庫服務器發送清除請求，其中，清除請求包括清除歷史版本，清除歷史版本是接收到的可清除最大歷史版本中的最小歷史版本。

在一些實施例中，該方法還包括：響應于超過預定時間未接收到至少部分從數據庫服務器發送的可清除最大歷史版本，基于接收到的可清除最大歷史版本向從數據庫服務器發送強制清除請求，其中，強制清除請求包括強制清除歷史版本，強制清除歷史版本是接收到的可清除最大歷史版本中的最小歷史版本。

第二方面，本申請實施例提供了一種用于復制數據的方法，應用于從數據庫服務器，包括：接收主數據庫服務器發送的物理變更信息；將物理變更信息寫入從物理日志文件中；讀取從物理日志文件中的物理變更信息；執行物理變更信息對應的物理變更操作。

在一些實施例中，該方法還包括：向主數據庫服務器定時發送可清除最大歷史版本；響應于接收到主數據庫服務器發送的清除請求，基于清除請求中的清除歷史版本執行清除操作。

在一些實施例中，該方法還包括：響應于接收到主數據庫服務器發送的強制清除請求，比較強制清除請求中的強制清除歷史版本與當前可見最小歷史版本；若強制清除歷史版本小于當前可見最小歷史版本，記錄強制清除歷史版本，以及基于強制清除歷史版本執行強制清除操作。