[發明專利]搜索數據的構建方法、增量數據的推送方法及裝置和設備

有效

• 申請號: 201710469319.2
• 申請日: 2017-06-20
• 公開（公告）號: CN107402963B
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 王照強
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/27;G06F16/28
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 陳蕾

1.一種搜索數據的構建方法，包括以下步驟：

數據庫存儲增量數據后，在目標日志文件中生成相應的記錄；所述目標日志文件通過預先修改相應的配置文件被啟用，所述目標日志文件記錄有觸發事件，所述觸發事件為描述所述數據庫產生增量數據的事件，以使所述目標日志文件用于記錄增量數據；

數據推送方獲取數據庫的目標日志文件并解析；

基于對目標日志文件的解析結果構建預設結構體的數據；所述預設結構體包括操作時間、操作類型和操作對象；所述操作類型與所述觸發事件對應，所述操作對象與所述增量數據對應；

將預設結構體的數據推送給搜索引擎；

搜索引擎基于預設結構體的數據構建搜索數據；

數據庫定時將其之前存儲的增量數據同步到離線數據倉庫；

離線數據倉庫將同步的數據構建成預設結構體的數據，并將構建的預設結構體的數據推送給搜索引擎；

搜索引擎基于離線數據倉庫推送的數據構建搜索數據。

2.根據權利要求1所述的方法，所述目標日志文件為二進制查詢日志文件。

3.根據權利要求2所述的方法，所述數據庫為關系數據庫，所述目標日志文件為binlog文件，所述配置文件為my.cnf。

4.一種增量數據的推送方法，包括以下步驟：

獲取數據庫的目標日志文件并解析；所述數據庫用于存儲增量數據后，在目標日志文件中生成相應的記錄，所述目標日志文件通過預先修改相應的配置文件被啟用，所述目標日志文件記錄有觸發事件，所述觸發事件為描述所述數據庫產生增量數據的事件，以使所述目標日志文件用于記錄增量數據；

基于對目標日志文件的解析結果構建預設結構體的數據；所述預設結構體包括操作時間、操作類型和操作對象，所述操作類型與所述觸發事件對應，所述操作對象與所述增量數據對應；

推送預設結構體的數據。

5.根據權利要求4所述的方法，所述目標日志文件為二進制查詢日志文件。

6.根據權利要求5所述的方法，所述數據庫為關系數據庫，所述目標日志文件為binlog文件。

7.一種搜索數據的構建系統，包括數據庫、數據推送方和搜索引擎，所述數據庫用于存儲增量數據，并在目標日志文件中生成相應的記錄；所述目標日志文件通過預先修改相應的配置文件被啟用，所述目標日志文件記錄有觸發事件，所述觸發事件為描述所述數據庫產生增量數據的事件，以使所述目標日志文件用于記錄增量數據；

所述數據推送方包括：

日志解析模塊，用于獲取數據庫的目標日志文件并解析；

數據構建模塊，用于基于對目標日志文件的解析結果構建預設結構體的數據；所述預設結構體包括操作時間、操作類型和操作對象；所述操作類型與所述觸發事件對應，所述操作對象與所述增量數據對應；

數據推送模塊，用于將預設結構體的數據推送給所述搜索引擎；

所述搜索引擎用于基于預設結構體的數據構建搜索數據；

所述系統還包括離線數據倉庫，所述數據庫還用于定時將其之前存儲的增量數據同步到所述離線數據倉庫；

所述離線數據倉庫用于將同步的數據構建成預設結構體的數據，并將構建的預設結構體的數據推送給所述搜索引擎；

所述搜索引擎還用于基于所述離線數據倉庫推送的數據構建搜索數據。

8.根據權利要求7所述的系統，所述目標日志文件為二進制查詢日志文件。

9.根據權利要求8所述的系統，所述數據庫為關系數據庫，所述目標日志文件為binlog文件，所述配置文件為my.cnf。