[發明專利]基于Storm的食品數據并行計算一致性問題的優化方法

有效

• 申請號: 201810498850.7
• 申請日: 2018-05-23
• 公開（公告）號: CN108875786B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 江志英;朱群雄;陳愷;李芳;許方舳;高堰瀘;王旭;劉璐
• 申請（專利權）人: 北京化工大學;食品安全與營養（貴州）信息科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京太兆天元知識產權代理有限責任公司 11108
• 代理人: 張洪年

1.一種基于Storm的食品數據并行計算一致性問題的優化方法，其特征在于，包括：

獲取食品數據；

通過第一層Spout節點將所述數據隨機分發給第一層Bolt節點；

使用正向最大分詞方式對所述數據進行分詞；

根據TF-IDF算法將分詞之后的數據聚類分發給第二層Bolt節點，獲得向量化之后文本的表示形式如下：

D＝{(t₁，w₁)，(t₂，w₂)，...(t_n，w_n)} (1)

其中，t₁、t₂、t₃…t_n為特征項，w₁、w₂、w₃…w_n為對應所述特征項的權重值；

將文本向量化之后的數據聚類分發給第三層Bolt節點，進行single-pass聚類處理，在30ms之內獲取和計算簇增量，當沒有新的簇可供獲取和計算時，隨機等待30ms-50ms的時間；

第四層Bolt節點使用余弦相似度算法進行文本聚類，所述余弦相似度算法的計算公式如下：

其中，A和B為兩個文本向量；

第五層Bolt節點重新計算新的簇的中間值，將文本的頻率值之中所有特征項添加至簇的平均值，若簇中已經存在所述特征項，根據當前中間點與簇的文本個數重新計算中間值，若不存在，根據簇的文本個數計算中間值；

第六層Bolt節點將每個文本的簇ID存儲到對應文本的Id字段之中，最終形成聚類結果。

2.根據權利要求1所述的基于Storm的食品數據并行計算一致性問題的優化方法，其特征在于，所述特征項的權重為v＝f_T×f_ID，

f_T＝m/M (2)

f_ID＝lg(N/n+0.01) (3)

其中，m表示文本之中特征項出現的次數，M表示文本之中的總詞數，N表示文本的總數量，n表示包含特征項的文本數。

3.根據權利要求1所述的基于Storm的食品數據并行計算一致性問題的優化方法，其特征在于，所述優化方法使用的拓撲結構包括控制節點和工作節點，所述控制節點包括Nimbus組件，所述Nimbus組件用于給所述工作節點分配數據處理工作，而且監控所述工作節點的工作狀態，所述工作節點包括Supervisor組件，所述Supervisor組件用于監控所轄服務器的工作狀態，根據工作需要啟動或者關閉對應的工作進程。