[發明專利]一種基于搜索引擎的大批量數據導出系統和方法

在審

• 申請號: 201710765285.1
• 申請日: 2017-08-30
• 公開（公告）號: CN107622094A
• 公開（公告）日: 2018-01-23
• 發明（設計）人: 劉培彬;胡旭輝
• 申請（專利權）人: 蘇州朗動網絡科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 蘇州中合知識產權代理事務所(普通合伙)32266
• 代理人: 李中華

技術領域

本發明涉及數據處理領域，尤其涉及一種基于搜索引擎的大批量數據導出系統。

背景技術

現有市場需求數據條件模糊，由此導致數據庫對模糊查詢支持較差，同時受到查詢條件固定原因的影響，無法較好地大批量導出有價值的商業數據。

發明內容

本發明主要解決的技術問題是提供一種基于搜索引擎的大批量數據導出系統，通過搜索引擎檢索數據，關聯數據庫數據，從而實現實時高效的數據查詢功能和大批量數據導出功能。

為解決上述技術問題，本發明采用的一個技術方案是：提供一種基于搜索引擎的大批量數據導出系統，包括服務端、搜索引擎、數據倉庫以及FTP服務器，所述服務端設置有登錄模塊、數據檢索模塊、訂單處理模塊以及數據處理模塊，所述登錄模塊用于對用戶身份進行握手校驗，所述數據檢索模塊用于訪問搜索引擎執行數據交換，所述訂單處理模塊用于數字化批量管理數據檢索業務需求，所述數據處理模塊用于訪問FTP服務器執行數據導出。

一種基于搜索引擎的大批量數據導出系統的導出數據方法，該方法包括：

S1，用戶登錄，

所述登錄模塊獲取用戶輸入的用戶名和密碼進行身份校驗；

S2，數據檢索，

身份校驗通過后，所述數據檢索模塊獲取用戶輸入的檢索關鍵字并發送至搜索引擎處理搜索請求，隨后將搜索引擎返回的結果數據由前端頁面展示，供用戶分析篩選出價值數據項；

S3，訂單處理，

所述訂單處理模塊獲取價值數據項，同時創建空白訂單文件，將價值數據項的數據量、檢索條件、數據交付價格等信息寫入訂單文件，待用戶確認后將訂單文件提交至數據處理模塊；

S4，導出數據，

所述數據處理模塊根據獲得的訂單文件訪問數據倉庫，提取訂單文件中指定數據上傳至FTP服務器，并生成鏈接供外部用戶下載。

在本發明一個較佳實施例中，所述搜索引擎設置有索引刷新模塊，所述索引刷新模塊用于不間斷執行腳本來更新數據倉庫索引。

在本發明一個較佳實施例中，所述S4步驟中，指定數據的導出過程采用多表并發處理方式。

本發明的有益效果是：本發明提供的一種基于搜索引擎的大批量數據導出系統，通過搜索引擎檢索數據，關聯數據庫數據，從而實現實時高效的數據查詢功能和大批量數據導出功能。

附圖說明

為了更清楚地說明本發明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例，對于本領域普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其它的附圖，其中：

圖1是本發明一種基于搜索引擎的大批量數據導出系統的一較佳實施例的結構圖。

具體實施方式

下面將對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅是本發明的一部分實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬于本發明保護的范圍。

如圖1所示，本發明實施例包括：

一種基于搜索引擎的大批量數據導出系統，包括服務端、搜索引擎、數據倉庫以及FTP服務器，所述服務端設置有登錄模塊、數據檢索模塊、訂單處理模塊以及數據處理模塊，所述登錄模塊用于對用戶身份進行握手校驗，所述數據檢索模塊用于訪問搜索引擎執行數據交換，所述訂單處理模塊用于數字化批量管理數據檢索業務需求，所述數據處理模塊用于訪問FTP服務器執行數據導出。

一種基于搜索引擎的大批量數據導出系統的導出數據方法，該方法包括：

S1，用戶登錄，

所述登錄模塊獲取用戶輸入的用戶名和密碼進行身份校驗；

S2，數據檢索，

身份校驗通過后，所述數據檢索模塊獲取用戶輸入的檢索關鍵字并發送至搜索引擎處理搜索請求，隨后將搜索引擎返回的結果數據由前端頁面展示，供用戶分析篩選出價值數據項；

S3，訂單處理，

所述訂單處理模塊獲取價值數據項，同時創建空白訂單文件，將價值數據項的數據量、檢索條件、數據交付價格等信息寫入訂單文件，待用戶確認后將訂單文件提交至數據處理模塊；

S4，導出數據，

所述數據處理模塊根據獲得的訂單文件訪問數據倉庫，提取訂單文件中指定數據上傳至FTP服務器，并生成鏈接供外部用戶下載。

其中，所述搜索引擎設置有索引刷新模塊，所述索引刷新模塊用于不間斷執行腳本來更新數據倉庫索引。