[發明專利]組串選配流式大數據平臺設計

在審

• 申請號: 202110426461.5
• 申請日: 2021-04-20
• 公開（公告）號: CN113051061A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 楊余旺;邱修林;王吟吟;陳霆希;張保良;張宛儉;馬金海
• 申請（專利權）人: 南京理工大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F16/25;G06F16/27
• 代理公司: 北京盛凡智榮知識產權代理有限公司 11616
• 代理人: 范國剛

1.一種基于網絡編碼的端到端實時可靠傳輸方法，其特征在于，使用分布式的Flume進行實時的數據獲取，通過對文件或接口等進行監控，實時讀取最新的數據。數據處理平臺主要由Hadoop和Spark組成，Hadoop提供底層支持，使用Hive、Phoenix進行ETL操作，接流式處理與離線操作結合到一起。

2.如權利要求1，RDD從存儲系統如HDFS和Scala集合類型中創建得到，此時得到的RDD在Spark的RDD空間中，對新創建的RDD進行轉換、緩存等操作得到的RDD仍然保存在Spark的RDD空間中。

3.如權利要求1，Spark程序執行支持多種運行模式，其中包含Local模式、Standalone模式、Local cluster模式、Mesos模式、YARN standalone/YARN cluster模式以及YARNclient模式。

4.如權利要求3，Spark應用程序包含了集群中若干獨立的進程，其中Spark Context和Executor是所有Spark應用程序都有的部分。Worker節點是負責運行Executor的機器。Spark Context由程序啟動，它與Executor進行通信是依靠資源調度模塊的。

5.如權利要求4，一個Spark的Application會被劃分為多個Job，每個Job內部又包含多個相互關聯的之間有沒有Shuffle依賴的Stage，Stage中又包含多個TaskSet，TaskSet中包含的則是每個分區數據集上最小的處理流程單元Task。

6.如權利要求5，對Spark Streaming的性能優化主要從兩個方面著手，一個是對運行時間進行優化，另一個是對內存使用進行優化。

7.如權利要求6，對內存使用進行優化的方法是控制批處理間隔內的數據量、及時清理不再使用的數據及觀察及適當調整GC策略。