[發(fā)明專利]分布式計(jì)算平臺(tái)下基于QoS約束的視頻流處理方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011303293.2
• 申請(qǐng)日: 2020-11-19
• 公開(kāi)（公告）號(hào): CN112423041B
• 公開(kāi)（公告）日: 2021-10-29
• 發(fā)明（設(shè)計(jì)）人: 陽(yáng)王東;唐艷陽(yáng);李肯立;鄒驍鋒;郭大為;陳岑;李克勤
• 申請(qǐng)（專利權(quán)）人: 湖南大學(xué)
• 主分類號(hào): H04N21/262
• 分類號(hào): H04N21/262;H04N21/231;H04N21/218;H04N7/18
• 代理公司: 武漢臻誠(chéng)專利代理事務(wù)所(普通合伙) 42233
• 代理人: 宋業(yè)斌

本發(fā)明公開(kāi)了一種分布式計(jì)算平臺(tái)下基于QoS約束的視頻流處理方法，其首先針對(duì)視頻流處理特性將QoS定義為算子的準(zhǔn)確度以及時(shí)延，并且基于此重新定義了視頻流數(shù)據(jù)處理的編程模型。再將該模型發(fā)布至分布式處理框架，平臺(tái)根據(jù)用戶提交的處理過(guò)程，首先對(duì)各個(gè)算子進(jìn)行分析，預(yù)先確定需求的準(zhǔn)確度以及時(shí)延需求的資源量。再根據(jù)應(yīng)用的數(shù)據(jù)依賴關(guān)系，對(duì)多個(gè)算子組合的情況(串行、并行、串行轉(zhuǎn)并行、并行轉(zhuǎn)串行)估計(jì)整個(gè)應(yīng)用處理過(guò)程中應(yīng)該分配的資源判斷是否能滿足要求并且根據(jù)之前的對(duì)算子的分析能夠得到處理時(shí)間的估計(jì)時(shí)延。然后根據(jù)時(shí)延情況以及數(shù)據(jù)流的輸入得到數(shù)據(jù)處理的窗口大小，再根據(jù)用戶預(yù)估的視頻流通路數(shù)對(duì)資源的總量進(jìn)行估計(jì)。

技術(shù)領(lǐng)域

本發(fā)明屬于分布式計(jì)算技術(shù)領(lǐng)域，更具體地，涉及一種分布式計(jì)算平臺(tái)下基于QoS約束的視頻流處理方法和系統(tǒng)。

背景技術(shù)

隨著視頻處理技術(shù)的不斷提升，攝像頭的部署數(shù)量也不斷在增加，這也意味著越來(lái)越多的實(shí)時(shí)視頻流需要得到及時(shí)的處理。視頻流處理由于其數(shù)據(jù)量大、計(jì)算量也大，數(shù)據(jù)時(shí)效性強(qiáng)等特點(diǎn)，不但對(duì)軟硬件平臺(tái)要求高，應(yīng)用開(kāi)發(fā)也相對(duì)復(fù)雜，一直是一個(gè)門(mén)檻較高的研究領(lǐng)域。

現(xiàn)有的大數(shù)據(jù)處理平臺(tái)(例如Spark、Flink、Storm等)都提供了數(shù)據(jù)流處理模型，并且提供自動(dòng)的數(shù)據(jù)分割、任務(wù)調(diào)度、負(fù)載均衡、數(shù)據(jù)緩存、數(shù)據(jù)通信等功能，其大幅度降低了系統(tǒng)開(kāi)發(fā)的復(fù)雜度，并能夠適應(yīng)大容量和高并發(fā)的高通量需求；此外，其還能夠直接通過(guò)增加計(jì)算資源，在不修改軟件的前提下提升視頻的處理性能和計(jì)算規(guī)模。

然而，現(xiàn)有基于大數(shù)據(jù)處理平臺(tái)的數(shù)據(jù)流處理模型仍然具有一些不可忽略的技術(shù)問(wèn)題：第一、由于該數(shù)據(jù)流處理模型僅僅只能適用于處理固定的數(shù)據(jù)流處理任務(wù)，其先對(duì)任務(wù)進(jìn)行劃分，然后在各個(gè)處理器上對(duì)劃分后的任務(wù)并行執(zhí)行，卻無(wú)法對(duì)任務(wù)參數(shù)進(jìn)行修改，因此無(wú)法滿足不同用戶對(duì)任務(wù)的具體需求(例如不同任務(wù)對(duì)應(yīng)的處理時(shí)延和準(zhǔn)確度等)；第二、由于該數(shù)據(jù)流處理模型是根據(jù)系統(tǒng)的運(yùn)行效率或用戶的設(shè)定進(jìn)行系統(tǒng)資源的分配和調(diào)度，而不能根據(jù)任務(wù)的具體需求(例如不同任務(wù)對(duì)應(yīng)的處理時(shí)延和準(zhǔn)確度等)進(jìn)行分配和調(diào)度，從而會(huì)造成系統(tǒng)資源分配和調(diào)度的效率偏低；第三、由于該數(shù)據(jù)流處理模型主要基于用戶自身定義每次處理的數(shù)據(jù)流處理窗口(即每次處理的視頻流數(shù)據(jù)量)，在處理模型的處理量過(guò)大時(shí)，會(huì)導(dǎo)致用戶不能及時(shí)得到響應(yīng)。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本發(fā)明提供了一種分布式計(jì)算平臺(tái)下基于QoS約束的視頻流處理方法和系統(tǒng)，其目的在于，解決現(xiàn)有基于大數(shù)據(jù)處理平臺(tái)的數(shù)據(jù)流處理模型由于無(wú)法對(duì)任務(wù)參數(shù)進(jìn)行修改，因此無(wú)法滿足不同用戶對(duì)任務(wù)的具體需求的技術(shù)問(wèn)題，以及由于不能根據(jù)任務(wù)的具體需求進(jìn)行分配和調(diào)度，導(dǎo)致系統(tǒng)資源分配和調(diào)度的效率偏低的技術(shù)問(wèn)題，以及由于該數(shù)據(jù)流處理模型主要基于用戶自身定義每次處理的數(shù)據(jù)流處理窗口，導(dǎo)致處理模型的處理量過(guò)大時(shí)，用戶不能及時(shí)得到響應(yīng)的技術(shù)問(wèn)題。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種分布式計(jì)算平臺(tái)下基于QoS約束的視頻流處理方法，包括以下步驟：

(1)獲取用戶提交的視頻流數(shù)據(jù)處理請(qǐng)求，該視頻流數(shù)據(jù)處理請(qǐng)求包括視頻流數(shù)據(jù)的來(lái)源信息、視頻流數(shù)據(jù)的處理函數(shù)、視頻流數(shù)據(jù)的分組函數(shù)和聚合函數(shù)、以及處理函數(shù)使用的視頻流數(shù)據(jù)的初始值d，其中d為任意大于0的正整數(shù)；

(2)根據(jù)步驟(1)獲取的視頻流數(shù)據(jù)的函數(shù)中數(shù)據(jù)之間的依賴關(guān)系建立處理序列，并根據(jù)步驟(1)獲取的視頻流數(shù)據(jù)處理請(qǐng)求中視頻流數(shù)據(jù)的函數(shù)的類型將該處理序列劃分為多個(gè)處理階段，所有的處理階段構(gòu)成處理階段集合S＝{S₁,S₂…S_m}，其中m表示處理階段集合中的處理階段總數(shù)；