[發明專利]基于Storm的食品數據并行計算一致性問題的優化方法

有效

• 申請號: 201810498850.7
• 申請日: 2018-05-23
• 公開（公告）號: CN108875786B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 江志英;朱群雄;陳愷;李芳;許方舳;高堰瀘;王旭;劉璐
• 申請（專利權）人: 北京化工大學;食品安全與營養（貴州）信息科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京太兆天元知識產權代理有限責任公司 11108
• 代理人: 張洪年

本發明公開了一種基于Storm的食品數據并行計算一致性問題的優化方法，首先獲取食品事件數據，其次對每個事件進行single?pass聚類，然后通過動態獲取簇增量和延時計算兩種方式解決數據不一致的問題，從而實現流式數據聚類，用于發現輿論導向，對公眾關注點進行快速響應。本發明提供的基于Storm的食品數據并行計算一致性問題的優化方法通過Storm分布式框架并行處理以及動態獲取簇增量和隨機延時的方法提高了輿情數據的處理效率和準確率，解決了并行處理數據不一致以及遍歷簇次數過多的問題。因此，本發明提供的技術方案實現了基于Storm框架的single?pass算法，而且對single?pass算法進行了改進，大大提高了運算效率，提高了優化方法的時效性。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種基于Storm的食品數據并行計算一致性問題的優化方法。

背景技術

隨著互聯網的爆炸式發展以及網絡設備的數量增加，數據的生成量達到了前所未有的水平。例如，推特每天會產生500萬條新的推文，新浪微博每天會產生超過1億條內容。傳統的數據處理方式已經遠遠不能滿足如今數據的增長，對于傳統的聚類來說，多次迭代很難應用到如此巨大的數據量上，無論計算效率與實時性都不能滿足要求。隨著數據產生速度的爆炸，流式數據挖掘逐漸成為數據挖掘的主流，與傳統的數據挖掘相比，流式數據挖掘在效率和時效性上遠遠勝于傳統迭代方式的數據挖掘，但是流式數據挖掘不允許反復掃描歷史數據，需要通過一次聚類算法進行處理，因此計算結果準確性較差。

聚類是流式數據挖掘之中最基礎和最重要的技術之一，是從復雜的數據當中，將相似的數據進行分組，將結果用于接下來的數據發掘。鑒于聚類算法的重要性，已有多種不同的流式聚類算法被提出，應用于各個方向，例如，single-pass算法提出流式聚類的基本思想，著名的Clu Stream算法著重于效率，大約將計算效率提高至50條每秒，還有針對于任意形狀的簇進行聚類。

單遍法或單道法(single-pass算法)是流式數據聚類的經典算法，對于依次到達的數據流，該算法按照數據的輸入順序，每次處理一個數據，對其進行聚類，依據該數據與已有類的數據進行相似度計算，將該數據判斷為已有類或者形成一個新類，用來進行事件的提取與追蹤。但是聚類結果依賴于數據的輸入順序，而且算法精度不高。

過去十年是數據處理變革的十年，Map Reduce(映射歸約)模型、Hadoop(海杜普)模型以及一些相關的技術能夠處理的數據量比以前要大得多，Hadoop已經成為批處理的標準，然而人們對于實時處理的要求越來越高，大規模的實時數據處理已經越來越成為一種業務需求，但是Hadoop無法進行數據的實時處理。

發明內容

為解決現有技術存在的局限和缺陷，本發明提供一種基于Storm的食品數據并行計算一致性問題的優化方法，包括：

獲取食品數據；

通過第一層Spout節點將所述數據隨機分發給第一層Bolt節點；

使用正向最大分詞方式對所述數據進行分詞；

根據TF-IDF算法將分詞之后的數據聚類分發給第二層Bolt節點，獲得向量化之后文本的表示形式如下：

D＝{(t₁，w₁)，(t₂，w₂)，(t₃，w₃)，......，(t₄，w₄)，} (1)

其中，t₁、t₂、t₃…t_n為特征項，w₁、w₂、w₃…w_n為對應所述特征項的權重值；