[發明專利]數據傳輸方法、裝置及系統

在審

• 申請號: 201910574707.6
• 申請日: 2019-06-28
• 公開（公告）號: CN110287210A
• 公開（公告）日: 2019-09-27
• 發明（設計）人: 類興邦
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2458
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 薛嬌

本申請公開了一種數據傳輸方法、裝置及系統，該方法包括：接收客戶端發送的數據搜索請求，該數據搜索請求攜帶有用于指示采用滾動查詢的標識；將該數據搜索請求轉發給分布式搜索引擎集群，以便于該搜索引擎集群采用滾動查詢方式搜索該數據搜索請求所需的目標數據；接收該搜索引擎集群依次返回的該目標數據的各個數據分片；按照該目標數據中各個數據分片的接收先后順序，將接收順序最靠前且尚未傳輸給客戶端的數據分片確定為待傳輸的數據分片，并將當前待傳輸的數據分片傳輸給該客戶端，直至該目標數據的各個數據分片均傳輸給該客戶端。本申請的方案可以提高數據查詢效率。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種數據傳輸方法、裝置及系統。

背景技術

ElasticSearch集群是一個分布式可擴展的實時搜索和分析引擎，它是一個建立在全文搜索引擎基礎上的搜索引擎。

為了使得客戶端可以訪問該ElasticSearch集群，可以在客戶端與ElasticSearch集群之間搭建中間件，該中間件可以看成是一個用于連接ElasticSearch集群與客戶端的服務器。雖然，客戶端可以基于承載有該中間件的服務器來實現對該ElasticSearch集群的訪問，但是卻存在的數據查詢效率較低的問題，因此，如何實現客戶端基于該ElasticSearch集群的高效數據查詢是本領域技術人員需要解決的技術問題。

發明內容

有鑒于此，本申請提供了一種數據傳輸方法、裝置及系統，通過本申請的方案可以實現高效的數據查詢。

為實現上述目的，一方面，本申請提供了一種數據傳輸方法，包括：

接收客戶端發送的數據搜索請求，所述數據搜索請求攜帶有用于指示采用滾動查詢的標識；

將所述數據搜索請求轉發給分布式搜索引擎集群，以便于所述搜索引擎集群采用滾動查詢方式搜索所述數據搜索請求所需的目標數據；

接收所述分布式搜索引擎集群依次返回的所述目標數據的各個數據分片；

按照所述目標數據中各個數據分片的接收先后順序，將接收順序最靠前且尚未傳輸給客戶端的數據分片確定為待傳輸的數據分片，并將當前待傳輸的數據分片傳輸給所述客戶端，直至所述目標數據的各個數據分片均傳輸給所述客戶端。

優選的，所述數據搜索請求封裝有自定義查詢語句；

所述將所述數據搜索請求轉發給分布式搜索引擎集群，包括：

解析出所述數據搜索請求中封裝的自定義查詢語句；

將所述自定義查詢語句轉換為所述分布式搜索引擎集群所能識別的結構化查詢語句，并構建包含所述結構化查詢語句的數據搜索請求；

將包含所述結構化查詢語句的數據搜索請求發送給分布式搜索引擎集群。

優選的，所述將所述自定義查詢語句轉換為所述分布式搜索引擎集群所能識別的結構化查詢語句，包括：

提取所述自定義查詢語句中查詢表達式的匹配條件、數據類型以及索引字段名稱；

根據自定義查詢語句中的所述匹配條件，構建所述分布式搜索引擎集群所能識別的結構化查詢語言中的查詢匹配條件；

基于所述查詢匹配條件、所述數據類型以及索引字段名稱，將所述自定義查詢語句中的查詢表達式轉換為所述結構化查詢語言中的查詢表達式，得到所述分布式搜索引擎集群所能識別的結構化查詢語句。

優選的，在將所述目標數據的各個數據分片均傳輸給所述客戶端之前，還包括：

在確認所述分布式搜索引擎集群存在數據傳輸異常的情況下，向所述客戶端發送數據異常指示。

又一方面，本申請還提供了一種數據傳輸系統，包括：