[發明專利]一種基于大數據分析的智能商業服務系統

在審

• 申請號: 201711025377.2
• 申請日: 2017-10-27
• 公開（公告）號: CN107704622A
• 公開（公告）日: 2018-02-16
• 發明（設計）人: 宋世博
• 申請（專利權）人: 成都艾薇尼爾信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27;G06F21/60;G06F21/62
• 代理公司: 成都創新引擎知識產權代理有限公司51249
• 代理人: 向群

技術領域

本發明涉及大數據處理技術領域，具體而言，涉及一種基于大數據分析的智能商業服務系統。

背景技術

在我國社會發展的新時期，中小型企業異軍突起，遂成為中國市場上日益旺盛的力量。他們渴望發展壯大，需要信息服務，卻沒有資本雄厚的大型集團公司的實力和精力來自己組建信息機構。信息資源是企業最重要的資源之一，開發信息資源是企業信息化的出發點，又是企業信息化的“歸宿”。

隨著信息化程度不斷加深，企業對“大數據”分析服務的渴求也日益強烈。互聯網持續增長信息資源蘊含了巨量的具有商業價值的信息，成為重要的商業智能服務信息源頭，但是，由于互聯網數據量龐大、獲取難度大、單位價值相對低、幾乎全是文本等非結構數據等難點，其價值并沒有被業界充分開發和利用。

對于企業來說，“效率就是生命，時間就是金錢”。互聯網只有積極提供信息服務手段，利用現代化技術設備，實現資源共享，有組織、有計劃、有目的地進行信息的收集和加工，才能為中小型企業提供更方便、快捷和全方位的參考咨詢服務，加快企業領導決策速度，為企業在市場經濟中贏得機遇。

發明內容

本發明的目的在于提供一種基于大數據分析的智能商業服務系統，實現了對互聯網富含的商業信息地精準分析，可以方便快捷的為中小型企業提供商業智能服務。

為了實現上述目的，本發明實施例采用的技術方案如下：

本發明實施例提供了一種基于大數據分析的智能商業服務系統，所述系統包括：數據采集入庫子系統、實時數據流處理子系統、存儲子系統、底層支持子系統、加密子系統和業務輸出子系統；其中，

數據采集入庫子系統，包括相互獨立的分布式爬蟲模塊和數據源適配器，分布式爬蟲模塊和數據源適配器分別連接實時數據流處理子系統，分布式爬蟲模塊負責數據源頭偵測、互聯網數據采集和HTML預處理，數據源適配器用于將第三方數據資源接入工作；

實時數據流處理子系統連接至存儲子系統，并包括相連接的臨時存儲模塊和數據流鉤子，臨時存儲模塊以集群的內存作為緩存環境，將實時采集到的數據臨時存儲起來，供有實時性要求的模塊讀取；流數據鉤子提供用于掛載的鉤子，當有數據到達，鉤子將數據的基本描述掛載起來，以便掛載到鉤子的模塊取閱；實時數據流處理子系統中設置有緩存閾值，超過緩存閾值，數據將被清空；

存儲子系統連接至業務輸出子系統，并包括相連接的Hadoop集群和mysql集群，Hadoop集群用于存儲大量網頁數據和沒有隨機讀寫需求的分析結果；mysql集群存儲體積較小、需要經常隨機讀寫的數據；

底層支持子系統，包括相連接的語義信息抽取模塊和語義搜索引擎，語義信息抽取模塊負責從文本中抽取語義信息，支持其他需要語義抽取、語義分析的模塊，語義信息抽取模塊分別連接實時數據處理子系統和業務輸出子系統；語義搜索引擎集成了所有與語義搜索、文本處理相關的工具和API模塊，其同時連接Hadoop集群和業務輸出子系統；

加密子系統，包括將特征參數和數字信息進行組合加密的加密模塊；以及將特征參數和數字信息進行組合解密的解密模塊；

業務輸出子系統，用于具體業務的執行、調度和展現，包括并聯的精準營銷模塊、數據業務模塊、報告生成模塊、商業情報分析模塊和輿情分析模塊；其中，精準營銷模塊用于為精準營銷提供數據搜集、分析和營銷手段的技術支持；數據業務模塊用于為滿足客戶特定數據需求而開展的數據搜集和語義分析；報告生成模塊為客戶生成簡短的、概要性的、圖文結合的信息概要，支持定期自動生成、報告匯總和撰寫；商業情報分析模塊用于商機信息分析、競爭對手分析、產業上下游動態和數據分析；輿情分析模塊用于話題跟蹤分析、事件和人物的相關跟蹤分析、網絡輿情類數據搜集和集成分析。

進一步的，分布式爬蟲模塊中，對不同信息來源設定可信度權值。

進一步的，分布式爬蟲模塊采用了定點蹲守式和/或啟發式和/或泛采集的采集策略。

進一步的，實時數據流處理子系統的緩存閾值為0.1～100分鐘。

進一步的，Hadoop集群為永久性存儲。

進一步的，運營數據、數據挖掘結果、語義分析結果存儲于mysql集群中。

進一步的，語義信息抽取模塊采用類自然語言的語義信息抽取技術，以極其類似自然語言的形式來描述和標記自然語言文本中的語義信息。

進一步的，語義信息抽取模塊采用語義聚類技術，記錄每一話題的信息量，提醒用戶關注重要事件。

進一步的，所述加密子系統中的加密模塊將特征參數和數字信息進行組合加密的加密方法包括以下步驟：