[發明專利]組串選配流式大數據平臺設計

在審

• 申請號: 202110426461.5
• 申請日: 2021-04-20
• 公開（公告）號: CN113051061A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 楊余旺;邱修林;王吟吟;陳霆希;張保良;張宛儉;馬金海
• 申請（專利權）人: 南京理工大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/25;G06F16/27
• 代理公司: 北京盛凡智榮知識產權代理有限公司 11616
• 代理人: 范國剛

本發明公開了一種組串選配流式大數據平臺設計，該平臺以Flume、Kafka實現實時數據獲取、傳輸，HBase為數據存儲，Hadoop為系統基礎，Spark為計算框架，Zookeeper為集群管理，搭建計算平臺，同時滿足高實時性和以平臺為基礎進行算法二次開發的需求。本發明構建組串選配流式大數據平臺，更加全面的數據分析，輔助設計人員更加快速準確地定位到可能存在異常的零部件并對異常原因進行分析，而且可以對裝配線的改善提供參考信息。優化后的組串選配算法在處理非線性數據時，準確度更高。

技術領域

本發明涉及生產線選配系統領域，尤其涉及基于大數據平臺的組串選配系統設計。

背景技術

自動裝配線上，裝配的速度快，實時性比較高，對數據分析的速率要求比較高。同時，裝配線裝配的零部件數量龐大，產生的數據量也很龐大。種種特征表明人工數據分析已經不滿足現有的裝配線。

為提高裝配線中的數據分析的速率及裝配線的效率，改變現在的裝配線中人工分析效率低的局限性，降低工作量節約人力成本等目的，本發明構建組串選配流式大數據平臺，更加全面的數據分析，輔助設計人員更加快速準確地定位到可能存在異常的零部件并對異常原因進行分析，而且可以對裝配線的改善提供參考信息。優化后的組串選配算法在處理非線性數據時，準確度更高。

發明內容

本發明所要解決的技術問題是針對背景技術中所涉及到的缺陷，提供一種組串選配流式大數據平臺設計，該平臺以Flume、Kafka實現實時數據獲取、傳輸，HBase為數據存儲，Hadoop為系統基礎，Spark為計算框架，Zookeeper為集群管理，搭建計算平臺，同時滿足高實時性和以平臺為基礎進行算法二次開發的需求。

本發明為解決上述技術問題采用以下技術方案：一種組串選配流式大數據平臺設計，具體結構是：

a.數據獲取:這里使用分布式的Flume進行實時的數據獲取，通過對文件或接口等進行監控，實時讀取最新的數據。多個Flume間可以相互串接并接，提高數據獲取的速度。同時為了提高系統性能，Flume獲得的數據將發送給Kafka，并由其發送到數據處理平臺。將Flume與Kafka結合提高系統的性能和穩定性。

b.數據處理:數據處理平臺主要由Hadoop和Spark組成，Hadoop提供底層支持，例如HDFS分布式文件存儲系統，Yarn等調度模式，這些都通過Hadoop實現，降低了Spark的負荷。而Spark Streaming只要實現相關邏輯功能即可，由于RDD的特性，在流式計算的過程中，計算速度、容錯等方面都得到了極大的提高。

c.數據存儲,處理完畢之后的數據根據不同的需求可以有不通過的存儲方式，如存入HDFS、HBase中，其中HBase列式存儲大大降低了對存儲空間的需求，并且數據的讀取寫入速度也大幅提高，滿足流式場景下實時性的要求。

d.結果查詢對于已經存儲的數據，可以使用Hive、Phoenix進行ETL操作，接流式處理與離線操作結合到一起，并且查詢速度可以達到毫秒級要求。

一種組串選配流式大數據平臺設計,為處理大規模數據,本平臺采用基于內存計算的大數據并行計算框架Spark平臺，在Spark中可以將數據空間劃分為三種：1)存儲系統；2)原生數據空間；3)Spark RDD空間。RDD在這三種數據空間之間的轉換關系如圖2所示.

RDD從存儲系統如HDFS和Scala集合類型中創建得到，此時得到的RDD在Spark的RDD空間中，對新創建的RDD進行轉換、緩存等操作得到的RDD仍然保存在Spark的RDD空間中，只有觸發了動作之后RDD才會存儲到其他空間當中。

一種組串選配流式大數據平臺設計,其大數據處理類型有3部分，分別為:

1)復雜的批量處理：這種應用場景的時間跨度較長，通常其時間跨度為幾十分鐘到幾個小時。