[發明專利]一種數據獲取方法及設備

有效

• 申請號: 201710501301.6
• 申請日: 2017-06-27
• 公開（公告）號: CN107341217B
• 公開（公告）日: 2020-02-07
• 發明（設計）人: 支猛;張文明;陳少杰
• 申請（專利權）人: 武漢斗魚網絡科技有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/242;G06F16/2458
• 代理公司: 11002 北京路浩知識產權代理有限公司
• 代理人: 王瑩;曹杰

1.一種數據獲取方法，其特征在于，包括：

S1，將所設置的數據查詢條件和對ElasticSearch返回的數據進行解析的規則提供給預定義的數據獲取組件；

S2，調用所述數據獲取組件向搜索引擎ElasticSearch發起滾屏查詢請求，獲取經過解析的搜索引擎ElasticSearch對所述滾屏查詢請求的返回結果；

其中，所述滾屏查詢請求攜帶的信息包括：開發人員設置的查詢條件、請求上下文ID、請求上下文的有效時間以及offset查詢參數。

2.根據權利要求1所述的方法，其特征在于，在步驟S1之前還包括：

S0，實現基于ElasticSearch ScrollAPI的數據獲取組件。

3.根據權利要求2所述的方法，其特征在于，所述數據獲取組件具體包括：準備查詢接口類和滾屏查詢組件類；

所述準備查詢接口類包括prepare方法和parseResult方法，所述prepare方法用于向數據獲取組件提供開發人員設置的查詢條件，所述parseResult方法用于向數據獲取組件提供開發人員設置的對從搜索引擎ElasticSearch中獲取到的數據的解析規則；

所述滾屏查詢組件類包括doScrollSearch方法，所述doScrollSearch方法用于以ElasticSearch Scroll API的方式獲取搜索引擎ElasticSearch中的數據，所述doScrollSearch方法的入參為所述準備查詢接口類的實例。

4.根據權利要求3所述的方法，其特征在于，步驟S1進一步包括：

S11，將所述準備查詢接口類實例化，獲得所述準備查詢接口類的一個實例對象；

S12，將所述實例對象傳遞給所述滾屏查詢組件的doScrollSearch方法。

5.根據權利要求3所述的方法，其特征在于，步驟S2進一步包括：

S21，在所述doScrollSearch方法中回調所述prepare方法獲取開發人員設置的查詢條件，向搜索引擎ElasticSearch發起滾屏查詢請求；

S22，當獲取到搜索引擎ElasticSearch對所述滾屏查詢請求的返回結果時，回調所述parseResult方法對所述返回結果進行解析，獲得經過解析的ElasticSearch數據；

S23，返回所述經過解析的ElasticSearch數據。

6.根據權利要求5所述的方法，其特征在于，在步驟S21中向搜索引擎ElasticSearch發起滾屏查詢請求的步驟之后，還包括：

使搜索引擎ElasticSearch按照offset字段對數據進行升序排序。

7.根據權利要求5所述的方法，其特征在于，步驟S22還包括：

若獲知搜索引擎ElasticSearch根據所述請求上下文ID獲取不到該請求上下文所對應的數據，則向搜索引擎ElasticSearch重新發起新的滾屏查詢請求。

8.一種數據獲取設備，其特征在于，包括存儲器、處理器、以及總線，

所述處理器和存儲器通過所述總線完成相互間的通信；

所述存儲器存儲有可被所述處理器執行的程序指令，所述處理器調用所述存儲器中的程序指令，以執行如權利要求1至7任一所述的方法。

9.一種非暫態計算機可讀存儲介質，其特征在于，所述非暫態計算機可讀存儲介質存儲計算機指令，所述計算機指令使所述計算機執行如權利要求1至7任一所述的方法。