[發明專利]搜索數據的構建方法、增量數據的推送方法及裝置和設備

有效

• 申請號: 201710469319.2
• 申請日: 2017-06-20
• 公開（公告）號: CN107402963B
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 王照強
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/27;G06F16/28
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 陳蕾

本申請提供一種搜索數據的構建方法、增量數據的推送方法及裝置和設備，所述增量數據的推送方法包括：獲取數據庫的目標日志文件并解析，所述數據庫用于存儲增量數據，所述目標日志文件記錄有觸發事件，所述觸發事件為描述所述數據庫產生增量數據的事件；基于對目標日志文件的解析結果構建預設結構體的數據，所述預設結構體包括操作時間、操作類型和操作對象，所述操作類型與所述觸發事件對應，所述操作對象與所述增量數據對應；推送預設結構體的數據。實施本申請，通過解析數據庫的目標日志文件構建含有增量數據的預設結構體的數據，搜索引擎即根據預設結構體的數據構建搜索數據，既能保證搜索數據的及時更新，又可以降低對業務系統的影響。

技術領域

本申請涉及計算機技術領域，尤其涉及搜索數據的構建方法、增量數據的推送方法及裝置和設備。

背景技術

目前互聯網上產生的業務種類繁多，各種業務系統在業務發生過程中會產生各種業務數據，比如電商交易訂單數據、保險的保單數據等，這些業務數據屬于業務的基礎數據，由于數據量大，這些基礎數據經常會存儲在多個數據庫或者多個數據庫表中。

現實中，對于基礎數據，經常存在各種搜索需求，比如全文搜索、按照某一維度聚合搜索、過濾等。開發中經常會基于搜索引擎構建并存儲搜索數據，以實現對這些基礎數據的搜索。這就需要搜索引擎能在基礎數據更新后，及時更新搜索數據。

為了保證搜索引擎能及時更新搜索數據，目前通常采用消息機制異步化來獲取增量數據(增量數據是指業務發生過程中實時產生的新的業務數據)，以更新搜索數據，即，業務系統產生基礎數據并寫入數據庫后，通常會發送一條異步消息，搜索引擎基于異步消息來構建搜索數據。但是，這種做法使得業務系統和搜索數據具有強耦合性，一方面，如果業務系統不關注異步消息的發送結果，一旦異步消息發送失敗，將會使得搜索引擎難以及時更新搜索數據；另一方面，如果業務系統實時關注異步消息的發送結果，構建搜索數據的過程會影響業務系統的業務處理效率。

發明內容

有鑒于此，本申請提供一種搜索數據的構建方法、增量數據的推送方法及裝置和設備。

根據本申請實施例的第一方面，提供一種搜索數據的構建方法，包括步驟：

數據庫存儲增量數據后，在目標日志文件中生成相應的記錄；所述目標日志文件通過預先修改相應的配置文件被啟用，所述目標日志文件記錄有觸發事件，所述觸發事件為描述所述數據庫產生增量數據的事件；

數據推送方獲取數據庫的目標日志文件并解析；

基于對目標日志文件的解析結果構建預設結構體的數據；所述預設結構體包括操作時間、操作類型和操作對象；所述操作類型與所述觸發事件對應，所述操作對象與所述增量數據對應；

將預設結構體的數據推送給搜索引擎；

搜索引擎基于預設結構體的數據構建搜索數據。

根據本申請實施例的第二方面，提供一種增量數據的推送方法，包括以下步驟：

獲取數據庫的目標日志文件并解析；所述數據庫用于存儲增量數據，所述目標日志文件記錄有觸發事件，所述觸發事件為描述所述數據庫產生增量數據的事件；

基于對目標日志文件的解析結果構建預設結構體的數據；所述預設結構體包括操作時間、操作類型和操作對象，所述操作類型與所述觸發事件對應，所述操作對象與所述增量數據對應；

推送預設結構體的數據。

根據本申請實施例的第三方面，提供一種搜索數據的構建系統，包括數據庫、數據推送方和搜索引擎，所述數據庫用于存儲增量數據，并在目標日志文件中生成相應的記錄；所述目標日志文件通過預先修改相應的配置文件被啟用，所述目標日志文件記錄有觸發事件，所述觸發事件為描述所述數據庫產生增量數據的事件；

所述數據推送方包括：