[發明專利]一種基于Web架構下海量數據查詢和二次處理的方法

有效

• 申請號: 201310051253.7
• 申請日: 2013-02-16
• 公開（公告）號: CN103995807B
• 公開（公告）日: 2018-01-16
• 發明（設計）人: 趙子緒
• 申請（專利權）人: 長沙中興軟創軟件有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/50
• 代理公司: 江蘇致邦律師事務所32230
• 代理人: 閆東偉

技術領域

本發明涉及數據庫數據查詢檢索領域，尤其涉及一種基于Web架構下海量數據查詢和二次處理的方法。

背景技術

隨著信息時代的不斷發展，需要在基于WEB端瀏覽器上呈現的數據量出現越來越大的趨勢，從幾年前的10條100條到現在的1000 條，甚至上萬條記錄需要給用戶進行統一展示。同時由于客戶使用體驗要求的提高，越來越多的使用體驗要求使用者能夠在瀏覽器端能夠對數據進行2次加工，以展示自己希望看到的數據，如：過濾特定數據 、選擇特定數據、按照一個或多個字段，對數據進行排序、按照選擇的字段，對某些數據屬性的字段進行求和、求平均、最大最小值等操作。目前典型的業務使用場景，如：查詢用戶的短信清單，月數據量可能達到每人上千條，數據庫中的清單數據達到100億條，并且用戶可能需要按照對方號碼進行篩選；查詢用戶的上網信令清單，月數據量可能達到每人上萬條，數據庫中的清單記錄數達到1000億以上，并且需要按照數據流量進行排序和匯總。

現有的數據查詢和處理技術主要通過JSP、JS的方法實現海量數據的展示，在前臺進行數據分頁展示，如果前臺有數據處理的要求，如排序、篩選等，則通過Web服務器再次到數據庫中進行查詢后再處理，然后再展示處理結果的方式，如圖1所示。這種查詢和處理的方法存在以下缺點：

1、頁面需要等待后臺查詢完成，經常會因為查詢性能慢而引起黑屏等問題，引起客戶操作體驗差；

2、所有的基于瀏覽器的后續的業務操作，均需要到原始數據源如數據庫或文件中進行再次查詢，如果源數據庫非常大，則對源數據庫的壓力將隨著前臺動作的增加持續增大，對業務成本和用戶體驗提出嚴重挑戰。

發明內容

針對上述缺點，本發明提供一種基于Web架構下海量數據查詢和二次處理的方法。該技術實現方案解決：

1、在海量數據的查詢場景下，切實減少對數據庫的多次同條件查詢的壓力，通過一次查詢解決基于同份結果數據集內進行的翻頁、最前、最后數據的展示問題；

2、對基于海量數據的查詢結果的二次處理，如支持多字段多方向排序，多字段聯合條件過濾，多指標字段的數據聚合計算、求和、求記錄平均、求最大、最小等操作。

為達到上述目的，本發明采用如下技術方案：

一種基于Web架構下海量數據查詢和二次處理的方法，在其整個業務處理流程中引入數據緩存中間服務器，緩存從數據庫中查詢到前臺展示的數據，同時提供了對查詢數據進行二次處理的業務邏輯處理平臺和一套完整的數據緩存機制。

本發明的一種基于Web架構下海量數據查詢和二次處理的方法，其查詢流程包括以下步驟：

（1）、瀏覽器收到業務查詢條件，向Web服務器提交查詢請求；

（2）、Web服務器檢測是否已經存在相同的業務邏輯查詢：如存在，直接向數據緩存中間服務器提交業務查詢，后者返回首頁記錄數據經Web服務器封裝送瀏覽器展示；如不存在，通過獨立進程緩存查詢服務向數據庫服務器提交業務查詢，并將返回的查詢數據緩存至數據緩存中間服務器，后者記錄當前業務邏輯查詢相關的狀態；

（3）、瀏覽器通過刷新數據緩存中間服務器已經緩存的記錄條數來確認數據查詢的進度，直到所有業務數據緩存到數據緩存中間服務器，整個業務邏輯查詢流程結束。

本發明的一種基于Web架構下海量數據查詢和二次處理的方法，其二次處理流程包括以下步驟：

（1）、瀏覽器收到對查詢業務結果集進行二次處理的條件，如要求進行指定字段排序、某些特定過濾條件、根據某些指標進行最大最小平均等計算等，向Web服務器提交查詢請求；

（2）、Web服務器直接將二次處理的業務請求發至數據緩存中間服務器進行處理；

（3）、數據緩存中間服務器將處理結果返回Web服務器，由后者封裝送瀏覽器展示；

（4）、瀏覽器收到翻頁查詢條件，向Web服務器提交查詢請求；

（5）、Web服務器直接將二次處理的業務請求發至數據緩存中間服務器進行處理；

（6）、數據緩存中間服務器將處理結果返回Web服務器，由后者封裝送瀏覽器展示，二次處理流程結束。

本發明的一種基于Web架構下海量數據查詢和二次處理的方法，其數據緩存中間服務器可以獨立部署若干個，進行負載均衡，動態分配資源，也可以通過集群部署來保證可用性。

本發明的一種基于Web架構下海量數據查詢和二次處理的方法，其數據緩存中間服務器可以通過開源的內存數據庫，也可以通過自行開發的基于key-value的內存管理模塊來實現。