[發明專利]分布式計算平臺下基于QoS約束的視頻流處理方法和系統

有效

• 申請號: 202011303293.2
• 申請日: 2020-11-19
• 公開（公告）號: CN112423041B
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 陽王東;唐艷陽;李肯立;鄒驍鋒;郭大為;陳岑;李克勤
• 申請（專利權）人: 湖南大學
• 主分類號: H04N21/262
• 分類號: H04N21/262;H04N21/231;H04N21/218;H04N7/18
• 代理公司: 武漢臻誠專利代理事務所(普通合伙) 42233
• 代理人: 宋業斌

1.一種分布式計算平臺下基于QoS約束的視頻流處理方法，其特征在于，包括以下步驟：

(1)獲取用戶提交的視頻流數據處理請求，該視頻流數據處理請求包括視頻流數據的來源信息、視頻流數據的處理函數、視頻流數據的分組函數和聚合函數、以及處理函數使用的視頻流數據的初始值d，其中d為任意大于0的正整數；

(2)根據步驟(1)獲取的視頻流數據的函數中數據之間的依賴關系建立處理序列，并根據步驟(1)獲取的視頻流數據處理請求中視頻流數據的函數的類型將該處理序列劃分為多個處理階段，所有的處理階段構成處理階段集合S＝{S₁，S₂...S_m}，其中m表示處理階段集合中的處理階段總數；

(3)針對步驟(2)得到的處理階段集合S中僅包括處理函數的每一個處理階段而言，利用模擬退火啟發式搜索算法獲得該處理階段內每個處理函數小于其最大時延L、最小準確度A并且使用系統資源價值最低的處理函數配置信息，所有的處理函數配置信息構成處理函數配置信息集合Q＝其中處理函數配置信息表示處理函數的配置信息是由處理階段集合S中第x1個處理階段S_x1中第x2個處理函數P_x2產生，x1∈[1，m]，x2∈[1，nx2]，nm為處理階段集合S中第m個處理階段的處理函數總數，nx2為處理階段集合S中第x2個處理階段中處理函數的總數；

(4)針對步驟(2)得到的階段集合中每個處理階段中的每個處理函數而言，根據步驟(1)得到的處理函數的最大時延L以及步驟(3)得到的處理函數配置信息確定該處理函數的視頻流窗口，將每個處理階段的所有處理函數的視頻流窗口中的最小視頻流窗口作為該處理階段對應的視頻流窗口，所有處理階段的視頻流窗口構成集合NS＝{NS₁，NS₂，...，NS_m}；

(5)針對步驟(2)得到的處理階段集合S中僅包括處理函數的每一個處理階段而言，根據每個處理階段內處理函數中數據之間的依賴關系建立該處理階段對應的有向無環圖，所有處理階段對應的有向無環圖構成有向無環圖集合H；

(6)對于步驟(5)得到的處理階段集合S對應的有向無環圖集合中的每個有向無環圖而言，使用廣度優先遍歷算法將該有向無環圖劃分為多個層次，所有層次構成該有向無環圖對應的層次集合B＝{B₁，B₂，...B_num4}，其中B_count表示有向無環圖中的第count層，num4表示劃分的層次總數，且count∈[1，num4]；

(7)根據步驟(6)得到的每個有向無環圖對應的層次集合B確定與該有向無環圖對應的處理階段的資源分配總量集合和并行通量，并從處理階段集合S的所有資源分配總量集合和所有并行通量中選擇最大資源分配總量集合Umax和最大并行通量kmax；

(8)向集群管理結點申請啟動kmax個任務的進程，將最大資源分配總量集合Umax分配給每個進程，并從集群管理結點獲取每個進程的網絡地址，所有進程的網絡地址組成集合

(9)使用步驟(3)獲取的處理函數配置信息集合Q中每個處理函數對應的可更改參數集合替換步驟(2)得到的處理階段集合S中處理階段內對應處理函數對應的可更改參數集合，并將處理階段集合S中的每個處理階段對應的視頻流窗口設置為步驟(4)獲取的對應處理階段對應的視頻流窗口，并將處理階段集合S中的每個處理階段封裝成單個任務，所有任務構成任務集合E＝{E₁，E₂，...，E_m}，其中E_num5表示第num5個處理階段封裝成的任務，且num5∈[1，m]；

(10)針對步驟(9)得到的任務集合中的每一個任務而言，將該任務復制kmax份，并根據步驟(8)得到的網絡地址集合中的網絡地址將復制后的kmax份任務發送給所有進程，并接收每個進程在執行任務過程中每隔周期T返回的進程執行信息PE_t5，其中所有進程執行任務期間返回的任務執行情況構成進程執行信息集合PE＝{PE₁，PE₂，...，PE_kmax}，其中t5∈[1，k_max]，T為任意大于零的自然數；

(11)根據步驟(10)獲得的進程執行信息集合PE將所需轉移剩余處理時間長的進程待處理的視頻流數據轉移到所需剩余處理時間短的進程。