[發(fā)明專利]一種公司形象提升系統的數據監(jiān)測分析系統

有效

• 申請?zhí)枺?/td>: 201911183448.0
• 申請日: 2019-11-27
• 公開（公告）號: CN110889632B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設計）人: 于灝;宋健;劉睿;鄭厚清;陳睿欣;謝清霞;潘泓廷;孫藝新;傅弘亞;賈德香;劉威;王玓;王智敏;劉素蔚;高洪達;陳光;柳占杰;李心達;王程;崔維平
• 申請（專利權）人: 國網能源研究院有限公司;國網北京市電力公司
• 主分類號: G06Q10/0639
• 分類號: G06Q10/0639;G06Q10/067;G06Q10/04
• 代理公司: 北京八月瓜知識產權代理有限公司 11543
• 代理人: 李斌

1.一種公司形象提升系統的數據監(jiān)測分析系統，其特征在于：包括用戶數據服務與融合體系模塊、社交媒體傳播優(yōu)化模塊、多源海量社交媒體數據實時采集模塊、異構社交媒體關鍵信息提取模塊與支撐海量社交媒體數據監(jiān)測處理分析的流計算技術模塊；

所述多源海量社交媒體數據實時采集模塊包括微服務全局分布式數據協調模塊、數據采集抓取服務模塊、數據采集處理服務模塊與數據持久化服務模塊，所述微服務全局分布式數據協調模塊，是指服務之間的圖片共享通過FTP+Nginx靜態(tài)資源的方式進行訪問，文件共享通過nfs磁盤掛載的方式進行訪問，通過微服務、獨立化，對文件進行統一的管理和維護，進而實現對數據的協調式采集，搭建具備獨立規(guī)則、攜帶關鍵數據特征的數據庫，所述數據采集抓取服務模塊是指對數據進行抓取、轉換、加載，最終挖掘數據的潛在價值，并提供給用戶解決方案或者決策參考，所述數據采集處理服務模塊是指對數據進行分析和加工的技術過程，包括對各種原始數據的分析、整理、計算、編輯的加工和處理，所述數據持久化服務模塊是指通過處理采集器獲取的信息，清洗掉冗余數據和臟數據，統一存儲格式后將數據持久化存儲，其用于對采集處理完畢的數據進行分類存儲，使數據持久有效，或不對數據存儲內容進行任何格式處理，所有數據原封不動保存到文件中，或定義一套獨立的格式規(guī)范，后續(xù)便于將數據從文件中解析；

所述異構社交媒體關鍵信息提取模塊包括正則表達式抽取模塊、自動序列標注模塊、抽取模型構建模塊與抽取模型部署應用模塊，所述正則表達式抽取模塊用于從大量的語料中匹配出少量但準確的抽取對象，并作為后續(xù)過程的導入，所述自動序列標注模塊用于將采用正則表達式抽取模塊獲得的抽取結果，切割出一定比例，作為導入到“自動序列標注”方法的訓練語料，替代“人工標注”過程，所述抽取模型構建模塊，模型采用自動序列標注模塊中的訓練語料，結合開源的“自動序列標注”類算法，構建“抽取模型”，所述抽取模型部署應用模塊采用抽取模型構建模塊的結果，對自動序列標注模塊切割出的、剩余的語料進行自動化抽取，并對抽取結果進行自動判斷；

所述支撐海量社交媒體數據監(jiān)測處理分析的流計算技術模塊包括多源異構數據采集模塊、分布式系統存儲模塊、流式大數據計算模塊與交互數據分析處理模塊，所述多源異構數據采集模塊包括社交媒體大數據、公司內部客戶服務數據及算法模型訓練語料，通過互聯網信息采集、數據庫集成、文件系統集成、日志流數據集成及離線數據上傳的方式進入系統，通過基于消息總線的全局數據調度，實現后續(xù)的存儲、計算和應用，所述分布式系統存儲模塊用于對海量社交媒體原始數據和部分中間數據進行存儲，對社交媒體的原始數據重新整理，所述流式大數據計算模塊用于對海量數據的實時分析，所述交互數據分析處理模塊在數據處理、分析及可視化展示層面，通過全文檢索引擎、關系數據庫、對象存儲系統以及列族數據庫，為社交媒體數據信息的全生命周期的不同類型數據提供最合適的數據結構及服務。

2.根據權利要求1所述的一種公司形象提升系統的數據監(jiān)測分析系統，其特征在于：所述數據采集抓取服務模塊包括系統日志采集模塊、網絡數據采集模塊與數據庫采集模塊，所述系統日志采集模塊用于收集日志數據提供離線和在線的實時分析使用，所述網絡數據采集模塊用于從網站上獲取數據，將非結構化數據和半結構化數據的網頁數據從網頁中提取出來，并將其提取、清洗、轉換成結構化的數據，然后存儲為統一的本地文件數據，所述數據庫采集模塊用于與企業(yè)業(yè)務后臺服務器結合，將企業(yè)業(yè)務后臺每時每刻都在產生大量的業(yè)務記錄寫入到數據庫中，最后由特定的處理分許系統進行系統分析。

3.根據權利要求1所述的一種公司形象提升系統的數據監(jiān)測分析系統，其特征在于：所述數據采集處理服務模塊包括數據清理模塊、數據集成和數據轉換模塊與數據歸約模塊，所述數據清理模塊用于是指發(fā)現并糾正數據文件中可識別的錯誤的最后一道程序，包括檢查數據一致性，處理無效值和缺失值，所述數據集成和數據轉換模塊用于把不同來源、格式、特點性質的數據在邏輯上或物理上有機地集中，從而為企業(yè)提供全面的數據共享和將數據從一種表示形式變?yōu)榱硪环N表現形式的過程，所述數據歸約模塊是指在保持數據原貌的前提下，最大限度地精簡數據量。

4.根據權利要求3所述的一種公司形象提升系統的數據監(jiān)測分析系統，其特征在于：所述數據歸約有兩個途徑：屬性選擇和數據采樣，分別針對原始數據集中的屬性和記錄。