[發明專利]一種監控網絡流量的方法和裝置

有效

• 申請號: 201710007945.X
• 申請日: 2017-01-05
• 公開（公告）號: CN108282378B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 曾軍;路璐;吳威;方圓
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/08
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 李輝

本申請實施例公開了一種監控網絡流量的方法。所述方法包括：監控系統獲取任務提交設備在任務提交時為所述任務生成的任務計劃日志；監控系統基于所述任務計劃日志，統計所述分布式文件系統中跨集群的網絡流量；監控系統輸出所述網絡流量的統計結果。其中，所述任務提交設備用于處理分布式文件系統中的任務提交，所述任務計劃日志包括所述任務指示第一集群系統從第二集群系統中讀取的第一數據量。通過本申請實施例提供的方法，在分布式文件系統提供離線計算等服務時能夠提前提示分布式文件系統中大量跨集群數據讀取操作占用大量網絡帶寬的情況，從而避免網絡帶寬被跨集群數據讀取操作大量占用。此外，本申請實施例還公開了一種監控網絡流量的設備。

技術領域

本申請涉及網絡數據處理技術領域，特別涉及一種監控網絡流量的方法和裝置。

背景技術

為了適應大數據處理平臺的海量作業需求，分布式文件系統可以提供多個用于數據存儲的集群系統。也就是說，分布式文件系統中的數據被分配到多個不同的集群系統進行存儲。在提供離線計算等服務時，分布式文件系統中的數據讀取操作需要跨集群系統實現。具體地，假設集群系統A和集群系統B是分布式文件系統中兩個用于數據存儲的集群系統，集群系統A可以從集群系統B中讀取存儲在集群系統B中的數據，集群系統B也可以從集群系統A讀取存儲在集群系統A的數據。

在分布式文件系統中，各集群系統之間是通過網絡設備連接的，因此，跨集群的數據讀取操作會占用網絡帶寬。現有技術中，分布式文件系統在提供離線計算等服務時，有時會因為大量的跨集群數據讀取操作而被占用大量網絡帶寬，此時，分布式文件系統的正常作業將被影響。

發明內容

本申請實施例所要解決的技術問題是，提供一種監控網絡流量的方法和裝置，以使得分布式文件系統中大量跨集群數據讀取操作占用大量網絡帶寬的情況能夠在出現之前提前提示，從而避免網絡帶寬被跨集群數據讀取操作大量占用，避免分布式文件系統的正常作業受到影響。

第一方面，本申請實施例提供了一種監控網絡流量的方法，應用于監控系統，包括：

獲取任務提交設備在任務提交時為所述任務生成的任務計劃日志，所述任務提交設備用于處理分布式文件系統中的任務提交，所述任務計劃日志包括所述任務指示第一集群系統從第二集群系統中讀取的第一數據量；

基于所述任務計劃日志，統計所述分布式文件系統中跨集群的網絡流量，所述跨集群的網絡流量包括所述第一集群系統與所述第二集群系統之間的網絡流量；

輸出所述網絡流量的統計結果。

可選的，所述任務計劃日志還包括所述任務指示所述第一集群系統從第三集群系統中讀取的第二數據量和所述第二集群系統從所述第三集群系統中讀取的第三數據量，所述跨集群的網絡流量還包括所述第一集群系統與所述第三集群系統之間的網絡流量以及所述第二集群系統與所述第三集群系統之間的網絡流量。

可選的，所述基于所述任務計劃日志，統計所述分布式文件系統中跨集群的網絡流量，包括：

從所述任務計劃日志中識別出所述第一數據量；

根據所述第一數據量，統計指定時間內在所述分布式文件系統中所述第一集群系統與所述第二集群系統之間的網絡流量；

其中，所述任務計劃日志的獲取時間屬于所述指定時間內。

可選的，所述基于所述任務計劃日志，統計所述分布式文件系統中跨集群的網絡流量，具體為：

基于所述任務計劃日志，統計所述任務指示的跨集群系統讀取的總數據量，作為所述任務執行過程中涉及的總網絡流量。

可選的，還包括：

將所述網絡流量的統計結果保存到數據持久化系統。

可選的，還包括：