[發明專利]一種基于實時查詢的數據交互方法及裝置

有效

• 申請號: 202011375913.3
• 申請日: 2020-11-30
• 公開（公告）號: CN112650915B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 朱蔚林;木偉民;遲磊;金宗澤;張云;王偉平
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F16/9532
• 分類號: G06F16/9532;G06F16/242;G06F16/27
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余功勛

本發明提供一種基于實時查詢的數據交互方法及裝置，包括：解析接收的客戶端數據查詢請求，判斷所述客戶端數據查詢請求為長查詢或短查詢；若為長查詢，則依據生成的查詢記錄對數據庫進行查詢，并將長查詢結果存儲至分布式文件系統中；若為短查詢，則通過轉換得到的系統sql語句對數據庫進行查詢，得到短查詢結果；將獲取的長查詢結果或短查詢結果返回至客戶端。本發明支持短查詢和長查詢兩種不同的請求方式，可以根據業務的緊急程度做不同速度的處理；短查詢可以跳過中間系統直接訪問數據源并返回結果數據，以達到更快的速度；長查詢的結果以較小單位依次返回給請求方達到更高的時效性。

技術領域

本發明屬于計算機網絡領域，尤其涉及一種基于實時查詢的數據交互方法及裝置。

背景技術

隨著當前信息時代的數據量越來越多，信息量越來越龐大，各企業中以及其他業務對象中的信息系統愈發繁雜，相互之間的信息交互也變得更加繁瑣與困難，因此更容易造成數據的延遲，導致某些重要請求無法以所需的速度到達，從而影響重要業務的時效性與準確性。

通常所見的數據交換往往是由一種統一的訪問方式處理所有接到的請求，即接收各請求后，處理所有請求并一次性返回所有結果。

因此，現有數據交換技術在高并發期時往往會達到系統的設計瓶頸，例如遇到優先級較高的請求需要盡快返回結果時，可能會出現該請求延遲反應的情況，嚴重影響到了此請求所要求的時效，從而不能達到業務端所需求的速度。

發明內容

為解決上述問題，本發明提出一種基于實時查詢的數據交互方法及裝置，通過用戶控制請求方式達到與后臺交互，最終產生不同的處理速度與處理方式。

為實現上述目的，本發明技術解決方案包括：

一種基于實時查詢的數據交互方法，其步驟包括：

1)解析接收的客戶端數據查詢請求，判斷所述客戶端數據查詢請求為長查詢或短查詢；

2)若為長查詢，則依據生成的查詢記錄對數據庫進行查詢，并將長查詢結果存儲至分布式文件系統中；若為短查詢，則通過轉換得到的系統sql語句對數據庫進行查詢，得到短查詢結果；

3)將獲取的長查詢結果或短查詢結果返回至客戶端。

進一步地，客戶端發送客戶端數據查詢請求的方法包括：post方法。

進一步地，所述客戶端數據查詢請求包括：用戶id、原始sql語句、長短查詢標識、請求唯一標識。

進一步地，通過長短查詢標識，判斷所述客戶端數據查詢請求為長查詢或短查詢。

進一步地，通過以下步驟生成查詢記錄：

1)將原始sql語句轉換為系統sql語句及系統sql語句中各字段與輸出時外部字段的映射關系；

2)依據長短查詢標識和當前時間戳生成的任務id；

3)根據任務id和用戶id，將獲取的數據庫配置信息、消息隊列ip、消息隊列的隊列名、分布式文件系統ip、分布式文件系統中存儲的絕對路徑、元數據服務的url、啟動docker任務所需的容器名和啟動docker任務所需的任務名封裝，得到封裝后的數據；

4)通過http協議對封裝后的數據編碼，得到查詢記錄。

進一步地，所述數據庫配置信息包括：數據庫ip、數據庫庫名、登入數據庫的用戶名和登入數據庫的密碼。

進一步地，依據生成的查詢記錄，通過以下步驟對數據庫進行查詢：

1)通過http協議對查詢記錄解碼，得到封裝后的數據；