[發明專利]一種面向航道大數據的采集系統及采集方法

在審

• 申請號: 201710188074.6
• 申請日: 2017-03-27
• 公開（公告）號: CN107071006A
• 公開（公告）日: 2017-08-18
• 發明（設計）人: 陶永;杜園園;沈志宏;吳章生;陳金柱;鄧仕戈
• 申請（專利權）人: 廣州數字方舟信息技術股份有限公司;中國科學院計算機網絡信息中心
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L29/06
• 代理公司: 北京君尚知識產權代理事務所(普通合伙)11200
• 代理人: 余長江

1.一種面向航道大數據的采集系統，包括部署于航道周邊的智能采集設備、配置管理中心模塊和處理中心模塊；

所述智能采集設備用于采集數據；

所述配置管理中心模塊用于配置智能采集設備的配置信息；所述配置信息包括協議信息和設備信息，其中所述協議信息包括協議描述、協議字段和數據體，所述設備信息包括設備所屬協議、轉換格式、轉發主題；

所述處理中心模塊包括收發器、接收中心、處理模塊和分發中心；

所述收發器用于接收上述采集數據，并將接收的采集數據發送給所述接收中心；

所述接收中心用于存儲上述采集數據，以防止處理不及時引起數據的溢出；

所述處理模塊用于獲取并更新上述配置信息，并根據所述配置信息對上述存儲的采集數據進行協議解析、轉換，以轉發給所述分發中心的不同主題；

所述分發中心包括多個不同的主題，以使業務系統根據不同的主題訂閱相應的數據。

2.如權利要求1所述的系統，其特征在于，該系統還包括下發指令中心模塊，用于根據業務系統查詢的智能采集設備的協議信息進行指令組裝，并通過網絡或短信方式將指令下發到上述智能采集設備；其中所述指令組裝采用工廠模式實現。

3.如權利要求2所述的系統，其特征在于，當指令所在智能采集設備與下發指令中心模塊的連接信息正常時，采用網絡方式下發，否則采用短信方式下發；并且當采用網絡方式下發時，需要收發器與下發指令中心模塊進行信息同步。

4.如權利要求1所述的系統，其特征在于，該系統還包括數據生命周期監控中心模塊，用于對數據采集和下發指令的整個流程進行日志信息的采集，并利用大數據處理技術分析日志信息，以及對采集數據生命周期進行全面監控。

5.如權利要求4所述的系統，其特征在于，所述數據生命周期監控中心模塊包括采集器、分析器和展示；其中所述采集器用于采集服務日志、處理流程日志以及系統的運行狀態；所述分析器采用Spark對上述采集的信息進行離線分析；所述展示用于將上述分析后的信息可視化。

6.如權利要求1所述的系統，其特征在于，所述配置管理中心模塊對智能采集設備進行可插拔式管理；所述可插拔式管理是指：無論增加的新智能采集設備采用新的協議還是刪除一種類型設備，都只需在配置管理中心模塊進行簡單配置。

7.如權利要求1所述的系統，其特征在于，所述處理中心模塊采用分布式架構；所述處理模塊采用工廠模式對采集數據進行解析。

8.如權利要求1所述的系統，其特征在于，所述接收中心和分發中心為Kafka分布式消息系統；所述處理模塊基于Flume分布式、高可靠、高可用數據聚合傳輸系統實現。

9.一種采用權利要求1所述系統的面向航道大數據的采集方法，其步驟包括：

1)配置管理中心模塊配置智能采集設備的配置信息；所述配置信息包括協議信息和設備信息，其中所述協議信息包括協議描述、協議字段和數據體，所述設備信息包括設備所屬協議、轉換格式、轉發主題；

2)智能采集設備采集數據；

3)收發器接收上述采集數據，并將接收的采集數據發送給接收中心進行存儲；

4)處理模塊根據上述配置信息對上述存儲的采集數據進行協議解析、轉換，以轉發給分發中心的不同主題；

5)業務系統根據上述不同的主題訂閱相應的數據。

10.如權利要求9所述的方法，其特征在于，步驟4)中所述對上述存儲的采集數據進行協議解析、轉換是指將采集的報文數據解析成明文數據，轉換為標準格式；其中所述標準格式為JSON格式。