[發明專利]數據查詢處理方法及裝置

有效

• 申請號: 201410773640.6
• 申請日: 2014-12-12
• 公開（公告）號: CN104484400B
• 公開（公告）日: 2018-02-23
• 發明（設計）人: 黃健
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京康信知識產權代理有限責任公司11240
• 代理人: 李志剛,吳貴明

技術領域

本發明涉及數據處理領域，具體而言，涉及一種數據查詢處理方法及裝置。

背景技術

在使用數據轉化處理工具(SSIS)進行將數據從來源端經過萃取、轉置、加載(E xtract-Transform-Load，簡稱為ETL)操作的過程中，為了判斷來自于源系統的數據是否已經存在于目標系統或者需要從維度表中獲取主鍵，從而建立主外鍵關系，通常，需要對表進行查找(Lookup)操作。如果需要Lookup的目標表或者維度表的數據量比較小，可以在軟件工具包中的Lookup組件配置項里，通過設置全部緩存的方式把表的數據全部載入內存。但是如果表的數據很大，以至于沒有辦法全部載入內存，現有技術中，是通過部分緩存的方式，把一部分數據載入內存。當需要查找的數據不在緩存中，則每條數據都會向數據庫發出一次即時查詢。

由于緩存是直接訪問內存，而數據庫需要更多的IO操作，不僅會影響數據庫的處理效率，而且對數據庫也會產生影響，所以從緩存中直接命中數據的效率比直接訪問數據庫查找數據要高出很多。而在部分緩存的情形下，什么樣的數據放在緩存中會直接影響緩存查詢的命中率。如果命中率太低，則意味著大量的數據庫請求，對數據庫來說是不小的壓力，同時也會影響整個ETL效率。

針對現有技術中基于數據轉化處理工具執行查詢處理時，處理效率低的問題，目前尚未提出有效的解決方案。

發明內容

本發明的主要目的在于提供一種數據查詢處理方法及裝置，以解決現有技術中基于數據轉化處理工具執行查詢處理時，處理效率低的問題。

為了實現上述目的，根據本發明的一個方面，提供了一種數據查詢處理方法。

根據本發明的數據查詢處理方法包括：獲取待查詢數據；對待查詢數據執行排序處理，得到排序后的待查詢數據；判斷在緩存數據庫中是否能夠查詢到與排序后的待查詢數據對應的查詢結果；如果在緩存數據庫中能查詢到與排序后的待查詢數據對應的查詢結果，在緩存數據庫中執行數據查詢；如果在緩存數據庫中不能查詢到與排序后的待查詢數據對應的查詢結果，在查詢數據庫中執行數據查詢，返回第一數據查詢結果；以及將第一數據查詢結果存儲至緩存數據庫。

進一步地，對待查詢數據執行排序處理，得到排序后的待查詢數據包括：確定待查詢數據來源的系統；判斷待查詢數據來源的系統是否為支持數據排序的系統；如果待查詢數據來源的系統為支持數據排序的系統，則對待查詢數據執行排序處理，得到在與排序后的待查詢數據對應的查詢結果；如果待查詢數據來源的系統不支持數據排序的系統，加載數據轉化處理工具；以及根據數據轉化處理工具中的排序組件對待查詢數據執行排序處理，得到與排序后的待查詢數據對應的查詢結果。

進一步地，如果在緩存數據庫中能查詢到與排序后的待查詢數據對應的查詢結果，在緩存數據庫中執行數據查詢之后，該方法還包括：獲取在緩存數據庫中執行數據查詢的第二數據查詢結果；將第二數據查詢結果發送至數據轉化處理工具；以及數據轉化處理工具將第二數據查詢結果轉發至目標數據庫，其中，目標數據庫為用于存儲數據查詢結果的數據庫。

進一步地，將第一數據查詢結果存儲至緩存數據庫之后，該方法還包括：獲取在查詢數據庫中執行數據查詢的第一數據查詢結果；將第一數據查詢結果發送至數據轉化處理工具；以及數據轉化處理工具將第一數據查詢結果轉發至目標數據庫，其中，目標數據庫為用于存儲數據查詢結果的數據庫。

進一步地，在對待查詢數據執行排序處理，得到排序后的待查詢數據之后，在判斷在緩存數據庫中是否能夠查詢到與排序后的待查詢數據對應的查詢結果之前，該方法還包括：將數據轉化處理工具中的緩存模式設置為部分緩存模式，其中，在部分緩存模式下，數據轉化處理工具緩存數據庫中存儲部分數據；以及在將數據轉化處理工具中的緩存模式設置為部分緩存模式之后，確定緩存數據庫，其中，緩存數據庫用于對待查詢數據執行查詢的數據庫。

進一步地，如果在緩存數據庫中不能查詢到與排序后的待查詢數據對應的查詢結果，在查詢數據庫中執行數據查詢，返回第一數據查詢結果包括：確定查詢數據庫；接收查詢指令，其中，查詢指令為用于指示執行數據查詢的指令；以及根據查詢指令在查詢數據庫中執行數據查詢，得到第一數據查詢結果。

為了實現上述目的，根據本發明的另一方面，提供了一種數據查詢處理裝置。