[發明專利]數據獲取請求處理方法、裝置、計算機設備及存儲介質

在審

• 申請號: 201911047636.0
• 申請日: 2019-10-30
• 公開（公告）號: CN110826001A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 李楠;黃細健;盧德恩;馮思博;賀亞光;張亮;蔡劍戈
• 申請（專利權）人: 深圳前海環融聯易信息科技服務有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;H04L29/08
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 涂年影

本發明公開了數據獲取請求處理方法、裝置、計算機設備及存儲介質，其中，方法包括：獲取客戶端的代理描述信息及傳輸鏈路信息并存儲至代理數據庫，若通過請求接收接口接收到數據獲取請求，獲取代理數據庫中與數據獲取請求對應的目標傳輸鏈路，根據目標傳輸鏈路對應的代理描述信息及數據獲取請求生成對應的獲取信息，根據目標傳輸鏈路獲取數據結果，將數據結果存儲至代理數據庫并根據請求接收接口進行反饋。通過上述方法，可以客戶端的終端地址作為代理終端地址以獲取數據信息，提高了代理終端地址的穩定性，可對多個數據獲取請求進行并發處理以批量獲取數據結果，滿足了大型企業對大批量數據進行獲取的需求，大幅提升了對數據進行獲取的效率。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據獲取請求處理方法、裝置、計算機設備及存儲介質。

背景技術

在進行數據獲取時，均是通過客戶端發送數據獲取請求以獲取網站中所存儲的數據信息，而目前網站均會限定同一終端地址(IP地址)在某一時間段內發送數據獲取請求的次數，超過所限定的次數則后續所發送的數據獲取請求均會被攔截，在該時間段內使用相同的終端地址無法獲取數據信息。傳統技術方法為通過云服務商所提供的可動態切換IP地址的vps服務器(虛擬專用服務器)，以避免所發送的數據獲取請求被攔截，然而上述方法存在部分IP地址不可用的問題，導致IP地址穩定性不高，極大的影響了數據獲取效率，且通過VPS服務器進行頻繁撥號導致實施成本較高。因而，現有技術方法中存在對數據獲取請求進行處理時數據獲取效率不高的問題。

發明內容

本發明實施例提供了一種數據獲取請求處理方法、裝置、計算機設備及存儲介質，旨在解決現有技術方法中所存在的對數據獲取請求進行處理時數據獲取效率不高的問題。

第一方面，本發明實施例提供了一種數據獲取請求處理方法，其包括：

獲取每一所述客戶端的代理描述信息及傳輸鏈路信息并存儲至預置的代理數據庫中，其中，所述傳輸鏈路信息至少包含與所述客戶端對應的一個傳輸鏈路；

若接收到來自任一所述請求接收接口的數據獲取請求，獲取所述代理數據庫中與所述數據獲取請求對應的傳輸鏈路作為目標傳輸鏈路；

獲取與所述目標傳輸鏈路對應的客戶端的代理描述信息作為目標代理描述信息，根據所述數據獲取請求生成與所述目標代理描述信息對應的獲取信息；

根據所述目標傳輸鏈路獲取與所述獲取信息對應的數據結果；

將所述數據結果存儲至所述代理數據庫，并根據所述請求接收接口反饋所述數據結果。

第二方面，本發明實施例提供了一種數據獲取請求處理裝置，其包括：

客戶端信息存儲單元，用于獲取每一所述客戶端的代理描述信息及傳輸鏈路信息并存儲至預置的代理數據庫中，其中，所述傳輸鏈路信息至少包含與所述客戶端對應的一個傳輸鏈路；

目標傳輸鏈路獲取單元，用于若接收到來自任一所述請求接收接口的數據獲取請求，獲取所述代理數據庫中與所述數據獲取請求對應的傳輸鏈路作為目標傳輸鏈路；

獲取信息生成單元，用于獲取與所述目標傳輸鏈路對應的客戶端的代理描述信息作為目標代理描述信息，根據所述數據獲取請求生成與所述目標代理描述信息對應的獲取信息；

數據結果獲取單元，用于根據所述目標傳輸鏈路獲取與所述獲取信息對應的數據結果；

數據結果存儲反饋單元，用于將所述數據結果存儲至所述代理數據庫，并根據所述請求接收接口反饋所述數據結果。

第三方面，本發明實施例又提供了一種計算機設備，其包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，所述處理器執行所述計算機程序時實現上述第一方面所述的數據獲取請求處理方法。