[發(fā)明專利]一種實現(xiàn)數(shù)據(jù)庫與緩存的數(shù)據(jù)同步的方法及裝置

有效

• 申請?zhí)枺?/td>: 201610837062.7
• 申請日: 2016-09-21
• 公開（公告）號: CN107844506B
• 公開（公告）日: 2021-06-11
• 發(fā)明（設計）人: 項歡;馬俊鋒
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/2455
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 任嘉文

1.一種實現(xiàn)數(shù)據(jù)庫與緩存的數(shù)據(jù)同步的方法，其特征在于，該方法包括：

讀取數(shù)據(jù)模塊按照預先配置的數(shù)據(jù)同步任務，從數(shù)據(jù)庫中讀取數(shù)據(jù)，并發(fā)送給所述數(shù)據(jù)同步任務關聯(lián)的處理器；

所述處理器接收所述數(shù)據(jù)，并按照預先配置的數(shù)據(jù)處理規(guī)則，對所述數(shù)據(jù)進行處理，以使得所述數(shù)據(jù)符合緩存要求，將處理后的數(shù)據(jù)發(fā)送給所述數(shù)據(jù)同步任務關聯(lián)的數(shù)據(jù)寫入模塊；

所述數(shù)據(jù)寫入模塊接收所述處理器發(fā)送的數(shù)據(jù)，并寫入所述緩存。

2.根據(jù)權利要求1所述的方法，其特征在于，所述讀取數(shù)據(jù)模塊，通過執(zhí)行配置的查詢數(shù)據(jù)庫語言sql，或者，通過訂閱數(shù)據(jù)庫同步消息，從數(shù)據(jù)庫中讀取數(shù)據(jù)，其中，所述數(shù)據(jù)庫同步消息是指通過讀取數(shù)據(jù)庫變更日志文件生成數(shù)據(jù)庫的變更數(shù)據(jù)的消息。

3.根據(jù)權利要求1所述的方法，其特征在于，所述處理器，通過執(zhí)行配置腳本語言，對接收到的數(shù)據(jù)進行處理。

4.根據(jù)權利要求1所述的方法，其特征在于，所述讀取數(shù)據(jù)模塊從數(shù)據(jù)庫中讀取的數(shù)據(jù)包括：數(shù)據(jù)表的表名、表中字段的新值和舊值、用于表示數(shù)據(jù)插入、更新或刪除的變更類型。

5.根據(jù)權利要求1所述的方法，其特征在于，所述處理器處理后的數(shù)據(jù)包括數(shù)據(jù)值、該數(shù)據(jù)值的索引、所述數(shù)據(jù)寫入模塊在所述緩存中對該數(shù)據(jù)值進行的操作類型。

6.根據(jù)權利要求1所述的方法，其特征在于，所述數(shù)據(jù)同步任務對應一個所述讀取數(shù)據(jù)模塊、多個所述處理器和多個所述數(shù)據(jù)寫入模塊；

所述讀取數(shù)據(jù)模塊按照所述數(shù)據(jù)同步任務，從數(shù)據(jù)庫中讀取多個數(shù)據(jù)表的數(shù)據(jù)，并將每一數(shù)據(jù)表的數(shù)據(jù)發(fā)送給一個所述處理器，其中，所述數(shù)據(jù)表的數(shù)據(jù)與所述處理器一一對應；

每一所述處理器接收所述讀取數(shù)據(jù)模塊發(fā)送的數(shù)據(jù)，并按照預先配置的數(shù)據(jù)處理規(guī)則，對接收到的數(shù)據(jù)進行處理，以使得處理后的數(shù)據(jù)符合緩存要求，將處理后的數(shù)據(jù)發(fā)送給預先配置的一個數(shù)據(jù)寫入模塊；

每一所述數(shù)據(jù)寫入模塊接收一個所述處理器發(fā)送的數(shù)據(jù)，并寫入所述緩存中的預設空間，其中，每一所述數(shù)據(jù)寫入模塊將數(shù)據(jù)寫入所述緩存中的不同的預設空間中。

7.一種實現(xiàn)數(shù)據(jù)庫與緩存的數(shù)據(jù)同步的裝置，其特征在于，包括：

讀取數(shù)據(jù)模塊，用于按照預先配置的數(shù)據(jù)同步任務，從數(shù)據(jù)庫中讀取數(shù)據(jù)，并發(fā)送給所述數(shù)據(jù)同步任務關聯(lián)的處理器；

處理器，用于接收所述數(shù)據(jù)，并按照預先配置的數(shù)據(jù)處理規(guī)則，對所述數(shù)據(jù)進行處理，以使得所述數(shù)據(jù)符合緩存要求，將處理后的數(shù)據(jù)發(fā)送給所述數(shù)據(jù)同步任務關聯(lián)的數(shù)據(jù)寫入模塊；

數(shù)據(jù)寫入模塊，用于接收所述處理器發(fā)送的數(shù)據(jù)，并寫入所述緩存。

8.根據(jù)權利要求7所述的裝置，其特征在于，所述讀取數(shù)據(jù)模塊，通過執(zhí)行配置的查詢數(shù)據(jù)庫語言sql，或者，通過訂閱數(shù)據(jù)庫同步消息，從數(shù)據(jù)庫中讀取數(shù)據(jù)，其中，所述數(shù)據(jù)庫同步消息是指通過讀取數(shù)據(jù)庫變更日志文件生成數(shù)據(jù)庫的變更數(shù)據(jù)的消息。

9.根據(jù)權利要求7所述的裝置，其特征在于，所述處理器，通過執(zhí)行配置的腳本語言，對接收到的數(shù)據(jù)進行處理。

10.根據(jù)權利要求7所述的裝置，其特征在于，所述讀取數(shù)據(jù)模塊從數(shù)據(jù)庫中讀取的數(shù)據(jù)包括：數(shù)據(jù)表的表名、表中字段的新值和舊值、用于表示數(shù)據(jù)插入、更新或刪除的變更類型。

11.根據(jù)權利要求7所述的裝置，其特征在于，所述處理器處理后的數(shù)據(jù)包括數(shù)據(jù)值、該數(shù)據(jù)值的索引、所述數(shù)據(jù)寫入模塊在所述緩存中對該數(shù)據(jù)值進行的操作類型。

12.根據(jù)權利要求7所述的裝置，其特征在于，所述數(shù)據(jù)同步任務對應一個所述讀取數(shù)據(jù)模塊、多個所述處理器和多個所述數(shù)據(jù)寫入模塊；

所述讀取數(shù)據(jù)模塊按照所述數(shù)據(jù)同步任務，從數(shù)據(jù)庫中讀取多個數(shù)據(jù)表的數(shù)據(jù)，并將每一數(shù)據(jù)表的數(shù)據(jù)發(fā)送給一個所述處理器，其中，所述數(shù)據(jù)表的數(shù)據(jù)與所述處理器一一對應；

每一所述處理器接收所述讀取數(shù)據(jù)模塊發(fā)送的數(shù)據(jù)，并按照預先配置的數(shù)據(jù)處理規(guī)則，對接收到的數(shù)據(jù)進行處理，以使得處理后的數(shù)據(jù)符合緩存要求，將處理后的數(shù)據(jù)發(fā)送給預先配置的一個數(shù)據(jù)寫入模塊；

每一所述數(shù)據(jù)寫入模塊接收一個所述處理器發(fā)送的數(shù)據(jù)，并寫入所述緩存中的預設空間，其中，每一所述數(shù)據(jù)寫入模塊將數(shù)據(jù)寫入所述緩存中的不同的預設空間中。