[發明專利]一種實時搜索數據分析系統

在審

• 申請號: 202010233677.5
• 申請日: 2020-03-30
• 公開（公告）號: CN111460333A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 朱哲哲;段娟;肖創柏
• 申請（專利權）人: 北京工業大學
• 主分類號: G06F16/9538
• 分類號: G06F16/9538;G06F16/957
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 沈波

1.一種實時搜索數據分析系統，其特征在于：包括搜索數據獲取模塊、搜索數據傳輸模塊、搜索數據分析模塊、分析結果存儲模塊、分析結果展示模塊；

搜索數據獲取模塊：用來從不同來源獲取搜索產生的數據，并以統一的格式發送；搜索數據產生的來源包括搜索界面產生的數據、搜索API業務系統產生的數據；

搜索數據傳輸模塊：利用Kafka消息隊列技術實時傳輸數據流，數據在kafka中利用攔截器統一數據格式，根據搜索數據、用戶數據分類為不同的主題，利用發布訂閱模式將數據傳輸到流式計算分析平臺；

搜索數據分析模塊：搜索數據在初步清洗之后根據業務需求定制不同的分析方案、分析維度，包括搜索數據統計分析、用戶數據統計分析和深化分析；

分析結果存儲模塊：將分析統計后的數據存入MySQL數據庫，為后續可視化展示提供數據支持；

分析結果展示模塊：將通過Spark技術分析后的搜索數據提供可視化展示界面，同時為了保證搜索數據的有效傳達，分析后的數據提供搜索引擎支持；

數據可視化利用Echarts技術從數據庫中拉取，提供用戶登錄與注冊，選取不同數據集展示功能，展示部分分為總體展示和單個展示；

分析后的數據通過搜索引擎數據傳送接口存入搜索中，用戶通過搜索欄搜索到分析后的結果，點擊后看到展示界面。

2.根據權利要求1所述的一種實時搜索數據分析系統，其特征在于：搜索數據獲取模塊中，搜索API業務產生的搜索數據通過后臺服務接口統計每個搜索鏈接按照HTTP方法分類存入日志，通過Flume技術實時監聽日志目錄，同時添加攔截器修改數據格式以保證統一，然后將數據送往數據流管道。

3.根據權利要求1所述的一種實時搜索數據分析系統，其特征在于：搜索界面產生的數據通過前端埋點技術監聽用戶行為；埋點技術被實現為glapi技術，客戶端通過在頁面引入glapi.js腳本，同時為需要采集的頁面標簽指定id屬性，以標識該標簽需要被采集，采集到的用戶行為數據就會實時發送回服務器；采集的數據包括當前鏈接地址、瀏覽器類型、當前地理位置，用戶相關的數據包括利用搜索引擎搜過的詞、用戶瀏覽過的文章、用戶對某篇文章點贊、收藏行為，數據被收集后會流向數據流管道。

4.根據權利要求1所述的一種實時搜索數據分析系統，其特征在于：統計分析利用Spark技術和SparkStreaming技術，Spark端從Kafka中拉取數據流，按照不同業務維度定義分析算子構成DAG圖，以實時批處理的方式將數據切割整合，得到分析結果后送入數據庫系統保存。

5.根據權利要求1所述的一種實時搜索數據分析系統，其特征在于：搜索數據統計分析包括總搜索數、總用戶數、總數據量、用戶地理分布、每小時搜索量、24小時搜索量、實時搜索文章、實時搜索關鍵詞維度，同時根據熱度算法提供搜索指數、用戶指數、數據指數用來評判搜索質量。

6.根據權利要求1所述的一種實時搜索數據分析系統，其特征在于：用戶數據統計分析包括用戶在搜索引擎下的搜索行為，譬如最常見搜索詞、最多搜索時段、對文章點贊總數、收藏總數，同時也提供對單個用戶的統計分析；深化分析包括用戶從搜索到命中結果，搜索結果漏斗圖，根據用戶搜索結果提供用戶搜索推薦。

7.利用權利要求1所述系統進行的一種無紙化考試防作弊系統實現方法，其特征在于:該實現方法包括以下步驟:

步驟1：用戶打開后臺地址輸入用戶名和密碼之后登陸系統；

步驟2：登陸之后需要指定數據收集配置和分析維度配置，包括數據收集格式指定，某個數據維度是否需要展示，或者選擇默認配置；

步驟3：選擇搜索數據集，系統裝載該數據集；

步驟4：選擇數據集之后可以直接看到分析結果，或者選擇搜索欄搜索分析指標，搜索到結果之后點擊對應的結果即可看到可視化界面。