[發明專利]一種全球船舶AIS大數據處理方法及系統

在審

• 申請號: 202111265587.5
• 申請日: 2021-10-28
• 公開（公告）號: CN113961651A
• 公開（公告）日: 2022-01-21
• 發明（設計）人: 李翔
• 申請（專利權）人: 中遠海運科技股份有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/2455;G06F16/242;G06F9/46
• 代理公司: 北京海虹嘉誠知識產權代理有限公司 11129
• 代理人: 高麗萍

1.一種全球船舶AIS大數據處理方法，其特征在于，包括以下步驟：

數據接收步驟：從AIS系統中接收船舶實時AIS報文，并將AIS報文發布到消息隊列中進行緩存；

數據分類步驟：消費消息隊列中的AIS報文，對AIS報文進行預處理，并對預處理后的AIS報文按照不同的報文類型分別進行存儲，將報文類型為動態數據類型的AIS報文發布到消息隊列中，將報文類型為靜態數據類型的AIS報文以mmsi為主鍵保存到Redis內存數據庫；

數據合并步驟：采用大數據流式處理技術，將存儲在消息隊列中動態數據類型的AIS報文和相關聯的以mmsi為主鍵存儲到Redis內存數據庫中靜態數據類型的AIS報文合并以形成完整的AIS數據記錄，并將AIS數據記錄發布到消息隊列中，形成AIS數據流；

數據應用步驟：基于流批一體的大數據處理架構，對AIS數據流進行業務處理以生成數據處理記錄，并將產生的數據處理記錄保存至目標位置。

2.根據權利要求1所述的全球船舶AIS大數據處理方法，其特征在于，所述數據接收步驟中，在接收船舶實時AIS報文后，將AIS報文保存到內部隊列中，以多線程方式對內部隊列中的AIS報文進行消費，并將消費后的數據發布到消息隊列，以保證數據的處理速度。

3.根據權利要求1所述的全球船舶AIS大數據處理方法，其特征在于，所述數據分類步驟中的預處理包括AIS報文合并處理、解碼處理和降采樣處理，所述AIS報文合并處理為將構成同一條AIS數據的多條AIS報文進行合并，所述解碼處理將合并后的AIS報文進行解碼以獲取各字段的數據，所述降采樣處理用于降低解碼后的AIS報文的消息密度。

4.根據權利要求3所述的全球船舶AIS大數據處理方法，其特征在于，所述數據分類步驟中，所述預處理在降采樣處理前還包括檢查AIS報文的數據格式，排除非法數據格式，保留合格的數據格式，并采用會話窗口對合格的數據格式進行降采樣。

5.根據權利要求1所述的全球船舶AIS大數據處理方法，其特征在于，所述數據應用步驟中，所述業務處理包括數據質量檢測、船舶狀態轉換判斷和區域穿越判斷，所述目標位置包括Redis內存數據庫、消息隊列和關系數據庫等。

6.一種全球船舶AIS大數據處理系統，其特征在于，包括依次連接的數據接收模塊、數據分類模塊、數據合并模塊和數據應用模塊，

所述數據接收模塊：從AIS系統中接收船舶實時AIS報文，并將AIS報文發布到消息隊列中進行緩存；

所述數據分類模塊：消費消息隊列中的AIS報文，對AIS報文進行預處理，并對預處理后的AIS報文按照不同的報文類型分別進行存儲，將報文類型為動態數據類型的AIS報文發布到消息隊列中，將報文類型為靜態數據類型的AIS報文以mmsi為主鍵保存到Redis內存數據庫；

所述數據合并模塊：采用大數據流式處理技術，將存儲在消息隊列中動態數據類型的AIS報文和相關聯的以mmsi為主鍵存儲到Redis內存數據庫中靜態數據類型的AIS報文合并以形成完整的AIS數據記錄，并將AIS數據記錄發布到消息隊列中，形成AIS數據流；

所述數據應用模塊：基于流批一體的大數據處理架構，對AIS數據流進行業務處理以生成數據處理記錄，并將產生的數據處理記錄保存至目標位置。

7.根據權利要求6所述的全球船舶AIS大數據處理系統，其特征在于，所述數據接收模塊中，在接收船舶實時AIS報文后，將AIS報文保存到內部隊列中，以多線程方式對內部隊列中的AIS報文進行消費，并將消費后的數據發布到消息隊列，以保證數據的處理速度。

8.根據權利要求6所述的全球船舶AIS大數據處理系統，其特征在于，所述預處理包括AIS報文合并處理、解碼處理和降采樣處理。

9.根據權利要求8所述的全球船舶AIS大數據處理系統，其特征在于，所述預處理在降采樣處理前還包括檢查AIS報文的數據格式，排除非法數據格式，保留合格的數據格式，并采用會話窗口對合格的數據格式進行降采樣。

10.根據權利要求6所述的全球船舶AIS大數據處理系統，其特征在于，所述業務處理包括數據質量檢測、船舶狀態轉換判斷和區域穿越判斷，所述目標位置包括Redis內存數據庫、消息隊列和關系數據庫等。