[發明專利]數據供應系統及方法、終端

有效

• 申請號: 201710670122.5
• 申請日: 2017-08-08
• 公開（公告）號: CN107562803B
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 湯奇峰;李鑫堂
• 申請（專利權）人: 上海數據交易中心有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2455;G06F16/2453
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張振軍;吳敏

一種數據供應系統及方法、終端，數據供應系統包括：至少一個數據緩存，適于存儲多種數據；至少一個數據查詢模塊，適于接收需求方的查詢請求，并根據所述查詢請求在所述至少一個數據緩存中對所述多種數據進行匹配查詢，以得到第一查詢結果，并反饋至所述需求方；至少一個數據路由模塊，適于在所述第一查詢結果表明未查詢到與所述查詢請求相匹配的數據時，根據所述查詢請求調用對應的供方服務器，并根據所述供方服務器反饋的第二查詢結果將對應的數據信息加載至所述至少一個數據緩存。通過本發明技術方案可以提高數據供應系統的性能。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據供應系統及方法、終端。

背景技術

在數據流通過程中，在線實時數據交易系統能提供持續的、按需供應的能力，系統性能的提升能提高系統的供應量，多個數據源不僅能提高數據供應的穩定性，也能根據業務需求提供數據融合能力。對于在線實時數據交易系統，不僅需要具備單點高性能，也必須具備可擴展性，提升系統整體的供應能力。如在廣告實時競價(Real Time Bidding,RTB)中，從開始競價到完成投放，整個過程需要在100毫秒(ms)內完成，由于涉及到多個步驟和關聯方，對于數據的查詢和獲取要求在幾毫秒內完成，對數據供應平臺提出了比較高的要求，例如對數據供應系統的吞吐量(Throughput)、每秒查詢率(Query Per Second,QPS)、響應時間(Response Time,RT)、并發數等指標，都有極高的要求。

現有技術中，數據供應系統采用單一應用，結構簡單，面向前端服務和后端多需方路由服務部署在同一應用中，單機數據庫Redis做數據緩存。

但是，現有技術中數據供應系統具有以下缺點：1.吞吐量低、QPS低；由于同一個應用服務需要進行多供方路由服務，占用大量系統資源，導致系統處理能力低下，系統在遇到前端高并發，大吞吐量情況下，系統無法支撐，中央處理器(Central Processing Unit,CPU)使用率居高不下，很容易導致系統宕機。2.響應時間長；原系統結構前端請求和后端多供方路由服務同時進行，整體處理流程長，導致應用響應時間較長，在整個系統的響應時間比較長，無法滿足需求方系統響應時間要求。3.可擴展能力弱；原系統結構下，當系統在需要提高服務能力時進行系統擴展的時候，很難根據需方請求或者多供方路由進行某方面的擴展，而只能通過增加整體服務器的方式擴展，在擴展后擴展增益效果不明顯，系統吞吐量及QPS非線性增長，系統可擴展能力弱。4.系統可靠性差；原系統當外部供方系統出現問題或網絡出現抖動的情況下，多供方路由會變慢，導致系統請求堆積，系統處理能力變弱。在外部系統出現問題時，導致本系統很容易宕機，系統可靠性差。5.容災性差；系統采用單機redis緩存部署，當redis出現問題時，整個系統將無法使用，必須等待redis緩存恢復才能使用。當單機redis宕機后，數據容易丟失，不易恢復，整個系統容災性差。

發明內容

本發明解決的技術問題是如何提高數據供應系統的性能。

為解決上述技術問題，本發明實施例提供一種數據供應系統，數據供應系統包括：至少一個數據緩存，適于存儲多種數據；至少一個數據查詢模塊，適于接收需求方的查詢請求，并根據所述查詢請求在所述至少一個數據緩存中對所述多種數據進行匹配查詢，以得到第一查詢結果，并反饋至所述需求方；至少一個數據路由模塊，適于在所述第一查詢結果表明未查詢到與所述查詢請求相匹配的數據時，根據所述查詢請求調用對應的供方服務器，并根據所述供方服務器反饋的第二查詢結果將對應的數據信息加載至所述至少一個數據緩存。

可選的，如果所述數據查詢模塊在所述至少一個數據緩存中查詢到與所述查詢請求相匹配的數據，則將查詢到的數據作為所述第一查詢結果反饋至所述需求方；如果所述數據查詢模塊未查詢到與所述查詢請求相匹配的數據，則生成提示信息作為所述第一查詢結果反饋至所述需求方，所述提示信息用以提示未查詢到與所述查詢請求相匹配的數據。