[發明專利]大數據流量的優先級分類方法、調度方法和裝置

在審

• 申請號: 201810432953.3
• 申請日: 2018-05-08
• 公開（公告）號: CN108833297A
• 公開（公告）日: 2018-11-16
• 發明（設計）人: 施新剛;張晗;尹霞;王之梁;李亞慧
• 申請（專利權）人: 清華大學
• 主分類號: H04L12/851
• 分類號: H04L12/851;H04L12/927
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 謝安昆;宋志強

本發明提供一種大數據流量的優先級分類方法、調度方法和裝置，應用于數據中心，該數據中心網絡包括m個入端口和n個出端口，優先級分類方法包括，步驟10：更新數據中心的大數據流量Coflow有序變量F，F包括數據中心正在傳輸和待傳輸的Coflow，令k為F中Coflow的序號，k＝1,2…K；步驟11：計算F中每個Coflow在m個入端口和n個出端口中已傳輸流量，查找每個Coflow在m個入端口和n個出端口中已傳輸流量的最小值并記為l_k，k＝1,2…K；步驟12：更新優先權指標k＝1,2…K，與l_k成正比、與w_k成反比，w_k為F中序號為k的Coflow的權重；步驟13：對ψ_k進行非遞減排列得到ω，ω中第一項的ψ_k對應的序號為k的Coflow優先級最高，以后優先級逐項遞減。本發明提出的Coflow優先權指標更能反映出Coflow對帶寬的實際需求。

技術領域

本發明涉及計算機領域，特別涉及一種大數據流量的優先級分類方法、調度方法和裝置。

背景技術

近年來，大數據處理架構，如Map-Reduce、Dryad、Spark、分布式存儲等被廣泛應用在數據中心，這些應用在運行時產生的大量網絡流量給數據中心的網絡帶來了巨大的挑戰。數據中心網絡從拓撲設計、路由設計、傳輸優化等各方面進行了改進，使得數據網絡的實時帶寬和延時能滿足應用需求。

在數據中心傳輸優化方面的改進包括：根據數據流的特性進行分類，如PDQ(Product Data Quality)或pFabric，然后采用SJF(Shortest Job First)策略，讓小的數據流獲得更多的帶寬，從而，對減少數據流完成時間(FCT)，進而減小應用延遲。

然而，在數據中心，數據傳輸不可能僅僅通過一條流來完成，由于存在數據依賴，通常包含一組并行的數據流，當這一組數據流都傳輸完成，應用才可以進行下一步。因此，在這種場景下，僅僅進行流級別的優化是不夠的，需要進行數據流組級別的優化。

針對這個現象，美國加州伯克利大學提出了大數據流量(Coflow)的概念，以一個整體去調度一組上下文相關的數據流。

目前已存在對Coflow進行優化的方法，如Varys使用SEBF(Smallest-Effective-Bottleneck-First)對Coflow的優先級進行優化，然后使用MADD(Minimum-Allocation-for-Desired-Duration)確定Coflow的帶寬。但是，Varys需要預先知道Coflow的流大小、寬度、源地址等信息，但在實際應用中，Coflow的流大小經常很難預知。

基于此，又出現了盲調度的方法，比如Aalo、CODA等，這些方法不需要預先知道Coflow的流大小，同樣地也無法得到最優的結果。

其他，對Coflow進行優化的方法，如分布式調用模式的Barrat，因該方法需要大量修改交換機，使得分布式的調度在部署到實際生產環境中的可能性大幅降低。

以上可知，目前對Coflow進行優化的方法中，缺乏適用范圍廣、優化效果又好的方法。

發明內容

本發明提供一種大數據流量的優先級分類方法、調度方法和裝置，解決目前Coflow的調度方法適用范圍受限或傳輸優化效果較差的問題。

本發明提供一種大數據流量的優先級分類方法，應用于數據中心，該數據中心網絡包括m個入端口和n個出端口，該方法包括：

步驟10：更新數據中心的大數據流量Coflow有序變量F，F包括數據中心正在傳輸的Coflow和待傳輸的Coflow，令k為F中Coflow的序號，k＝1,2…K；