[發明專利]一種數據獲取方法及設備

有效

• 申請號: 201710501301.6
• 申請日: 2017-06-27
• 公開（公告）號: CN107341217B
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 支猛;張文明;陳少杰
• 申請（專利權）人: 武漢斗魚網絡科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/242;G06F16/2458
• 代理公司: 11002 北京路浩知識產權代理有限公司
• 代理人: 王瑩;曹杰

本發明提供一種數據獲取方法及設備，所述方法包括：將所設置的數據查詢條件和對ElasticSearch返回的數據進行解析的規則提供給預定義的數據獲取組件；調用所述數據獲取組件向搜索引擎ElasticSearch發起滾屏查詢請求，獲取經過解析的搜索引擎ElasticSearch對所述滾屏查詢請求的返回結果。本發明提出的一種數據獲取方法及設備，通過調用自定義的數據獲取組件向搜索引擎ElasticSearch獲取大批量數據，使得數據獲取較直接使用ElasticSearch的ScrollAPI更加地可靠、有序、實時和不重復。

技術領域

本發明涉及軟件工程領域，更具體地，涉及一種數據獲取方法及設備。

背景技術

ElasticSearch是一個優秀的開源分布式搜索引擎，除了用于搜索，ElasticSearch也是日志存儲、離線數據分析挖掘的利器。應用ElasticSearch可以實時收集線上應用在運行過程中輸出到磁盤上的日志，并將實時收集到的日志存儲到ElasticSearch集群中。

對于存儲在ElasticSearch集群中的日志，有以下兩種應用場景：一方面根據所開發的日志中心平臺，在該平臺上開發人員通過設置檢索條件查詢線上應用輸出的各種日志，從而幫助開發人員了解線上應用的運行情況和快速定位線上應用的問題。另一方面Storm集群會實時批量地從ElasticSearch集群中拉取日志做復雜的聚合計算，如分布式調用鏈計算等。以上兩種場景均要求快速、連續、實時地從ElasticSearch集群中獲取大量數據。ElasticSearch提供了ScrollAPI(滾動搜索)用于使ElasticSearch快速、有效地執行大批量的數據查詢。

但ScrollAPI(滾動搜索)適合處理大量的數據，不適合實時用戶請求，且每當應用程序重新發起一個新的Scroll API調用時，ElasticSearch會從頭開始返回數據，造成客戶端接收重復的數據。直接使用ElasticSearch提供的ScrollAPI會給應用程序帶來了以下問題：無法確保在應用程序端可靠、按序、實時以及不重復地獲取大批量的數據。

發明內容

為了克服直接使用ElasticSearch提供的ScrollAPI帶來的無法可靠、按序、實時及不重復地獲取大批量數據的問題，本發明提供一種數據獲取方法及設備。

根據本發明的一個方面，提供一種數據獲取方法，包括：

S1，將所設置的數據查詢條件和對ElasticSearch返回的數據進行解析的規則提供給預定義的數據獲取組件；

S2，調用所述數據獲取組件向搜索引擎ElasticSearch發起滾屏查詢請求，獲取經過解析的搜索引擎ElasticSearch對所述滾屏查詢請求的返回結果。

其中，在步驟S1之前還包括：

S0，實現基于ElasticSearch ScrollAPI的數據獲取組件。

其中，所述數據獲取組件具體包括：準備查詢接口類和滾屏查詢組件類；

所述準備查詢接口類包括prepare方法和parseResult方法，所述prepare方法用于向數據獲取組件提供開發人員設置的查詢條件，所述parseResult方法用于向數據獲取組件提供開發人員設置的對從搜索引擎ElasticSearch中獲取到的數據的解析規則；

所述滾屏查詢組件類包括doScrollSearch方法，所述doScrollSearch方法用于以ElasticSearch ScrollAPI的方式獲取搜索引擎ElasticSearch中的數據，所述doScrollSearch方法的入參為所述準備查詢接口類的實例。

其中，步驟S1進一步包括：