[發明專利]一種基于storm的實時空間最近鄰分類預測方法及系統

有效

• 申請號: 202011238726.0
• 申請日: 2020-11-09
• 公開（公告）號: CN112308165B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 夏喆;李鑫;鄒承明
• 申請（專利權）人: 武漢理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/2458;G06F16/28
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 肖明洲

1.一種基于storm的實時空間最近鄰分類預測方法，其特征在于：首先用storm啟動一個拓撲網絡，所述拓撲網絡包括TrainSpout、SearchSpout、GridTrainBolt、LocationBolt、AknnBolt、NeiborBolt、ResultBolt、ClaBolt節點；所述TrainSpout、SearchSpout，用于產生不同的數據源；所述GridTrainBolt、LocationBolt、AknnBolt、NeiborBolt、ResultBolt、ClaBolt，用于完成不同的數據處理任務；

所述方法包括以下步驟：

步驟1：空間數據預處理；

步驟1.1：TrainSpout接收傳感器采集的原始數據，將其發送到GridTrainBolt中進行數據預處理以便得到進行網格定位的數據集；

步驟1.2：GridTrainBolt對原始數據進行數據預處理；

GridTrainBolt對空間數據進行網格劃分，確定每個訓練點所在的網格單元，同時設置一個參數Gmax，其中Gmax的取值應大于AknnBolt中堆容量K的取值；Gmax的大小決定了每個單元包含的訓練點的上限，當網格單元中的值大于Gmax時，對該網格單元進行再次劃分，直至每個網格單元中的訓練點個數小于Gmax，對于不含訓練點的網格單元進行舍去；GridTrainBolt處理完成的數據持久化保存在Redis數據庫中；

步驟1.3：SearchSpout接收由分布式發布訂閱消息系統Kafka實時分發的預測點，將每個預測點轉化成數據流源源不斷地發送到LocationBolt中，進行預測點的數據預處理以便得到經過網格單元定位的預測點；

步驟1.4：LocationBolt接收SearchSpout的預測點數據流，利用GridTrainBolt傳來的網格數據對每個預測點進行網格單元的定位，并將處理完的數據發送至AknnBolt和NeiborBolt；

步驟2：構建空間搜索模型；

步驟2的具體實現包括以下子步驟：

步驟2.1：AknnBolt接收到SearchSpout傳來的預測點后，根據Redis數據庫中保存的GridTrainBolt網格劃分后的訓練集數據，通過GridTrainBolt自帶的setNumTasks()方法設置多個Task，并行計算得到預測點在其單元內的最近鄰列表List1，并將結果發送至ResultBolt和NeiborBolt；

步驟2.2：NeiborBolt接收來自AknnBolt的數據，根據步驟2.1中預測點的最近鄰列表List1，計算得到最近鄰列表List1中第1個點與預測點的距離，同時預測點的鄰近單元，計算預測點與鄰近單元的距離，當預測點與鄰近單元的距離小于表中第1個點與預測點的距離時，記錄該鄰近單元編號，當遍歷完預測點的鄰近單元后，得到一個鄰近單元列表；NerborBolt將設置多個Task，并行計算得到預測點在鄰近單元中的最近鄰列表List2，并將結果發送至ResultBolt；

步驟3：根據查詢結果匯總成為最終的空間鄰近列表；

步驟3的具體實現包括以下子步驟：

步驟3.1：ResultBolt將來自AknnBolt的最近鄰列表與NerborBolt的最近鄰列表按照預測點與其他點的距離由小到大進行排序，得到預測點的最近鄰列表；

步驟3.2：ResultBolt按照需求，選擇預測點最近鄰列表中的前K個點作為預測點最終的最近鄰列表ListAll；

步驟4：對預測點進行分類預測；

ClaBolt接收來自ResultBolt中的數據，根據最終的最近鄰列表ListAll中數據特征，選擇出現最多的特征作為預測點的特征，并將預測點以及預測點特征作為最終結果，并輸出。