[發(fā)明專利]對人工智能算法友好的TS流處理方法及應(yīng)用

在審

• 申請?zhí)枺?/td>: 201810549077.2
• 申請日: 2018-05-31
• 公開（公告）號: CN108712677A
• 公開（公告）日: 2018-10-26
• 發(fā)明（設(shè)計）人: 吳曉暉
• 申請（專利權(quán)）人: 杭州視在數(shù)科信息技術(shù)有限公司
• 主分類號: H04N21/434
• 分類號: H04N21/434;H04N21/4385;H04N21/647;H04N21/845
• 代理公司: 浙江杭州金通專利事務(wù)所有限公司 33100
• 代理人: 劉曉春

本發(fā)明涉及視頻流的處理，尤其是涉及對人工智能算法友好的TS流處理方法及應(yīng)用。所述方法包括：（1）接收TS流；（2）判斷是否需要添加結(jié)構(gòu)化數(shù)據(jù)和/或業(yè)務(wù)規(guī)則的數(shù)據(jù)包；若否，則繼續(xù)接收TS流；若是，則進行步驟（3）的操作；（3）將結(jié)構(gòu)化數(shù)據(jù)和/或業(yè)務(wù)規(guī)則的數(shù)據(jù)包切分為至少一個Null Packets形式的數(shù)據(jù)包，并連續(xù)插入至當(dāng)前TS流之前。本發(fā)明保證了封裝數(shù)據(jù)后的TS流完全符合標(biāo)準(zhǔn)，第三方播放器或者瀏覽器按照TS標(biāo)準(zhǔn)要求必須丟棄Null Packets包，因此，增加Null Packets包并不會影響播放器的播放效果。同時，TS標(biāo)準(zhǔn)中Null Packets保證了其可以封裝任意長度的數(shù)據(jù)，這就使得本發(fā)明的應(yīng)用不受具體項目需求的限制，可以把任意長度的數(shù)據(jù)封裝在Null Packets包中以供人工智能算法使用。

技術(shù)領(lǐng)域

本發(fā)明涉及視頻流的處理，尤其是涉及對人工智能算法友好的TS流處理方法及應(yīng)用。

背景技術(shù)

目前人工智能視覺算法越來越多地被應(yīng)用于“智慧城市”和“城市大腦”等大型項目。在這些大型項目中，往往會有多家算法公司涉及不同層次或者業(yè)務(wù)的視覺算法處理。來自前端攝像頭的視頻流被推送到公司A的算法服務(wù)器，從視頻中分析出各種結(jié)構(gòu)化數(shù)據(jù)，例如車的位置、行人位置、車型、車牌，然后把這些結(jié)構(gòu)化數(shù)據(jù)再封裝到視頻流，繼續(xù)推送給公司B的算法服務(wù)器，以此類推。

同時，業(yè)務(wù)規(guī)則也會被封裝在視頻流中，供各家算法公司使用。例如，某個攝像頭對應(yīng)的畫面的人工智能算法處理，在8:00-10:00上班高峰期需要識別“擁堵”、“占公交車道”、“機動車逆行”。 怎么算是“擁堵”，是否為特殊原因而產(chǎn)生的擁堵（例如交通管制）以及“擁堵”后觸發(fā)什么邏輯。這些都是業(yè)務(wù)規(guī)則。業(yè)務(wù)規(guī)則不是一層不變，而是實時調(diào)整的。

目前階段人工智能視覺算法在很多方面遠(yuǎn)遠(yuǎn)不如人類，仍然需要人類給它明確的指令，告訴它當(dāng)前是什么場景，需要進行什么類型的識別，識別時候需要注意什么，我們把這些指令集合稱為業(yè)務(wù)規(guī)則。同時，人工智能視覺算法目前極其消耗GPU算力，因此，如果之前已經(jīng)有算法服務(wù)器對視頻流進行過處理，并得出一些結(jié)構(gòu)化數(shù)據(jù)，那么后續(xù)的算法服務(wù)器只要利用這些結(jié)構(gòu)化數(shù)據(jù)，可以極大地節(jié)省GPU算力。無論業(yè)務(wù)規(guī)則還是結(jié)構(gòu)化數(shù)據(jù)，我們都統(tǒng)稱為數(shù)據(jù)。

大型項目需要對人工智能算法更加友好的視頻流，如果人工智能算法在處理每個視頻幀的時候，都能夠準(zhǔn)確知道該視頻幀對應(yīng)的數(shù)據(jù)，人工智能算法的效率和準(zhǔn)確性會有大幅度提升。

現(xiàn)有的解決方案有兩種：（1）采用私有協(xié)議進行封裝；（2）視頻和數(shù)據(jù)分離。

（1）針對結(jié)構(gòu)化數(shù)據(jù)采用私有協(xié)議進行封裝

目前絕大多數(shù)安防廠商，都是支持視頻和結(jié)構(gòu)化數(shù)據(jù)合二為一，但是，采用私有協(xié)議進行封裝，把結(jié)構(gòu)化數(shù)據(jù)采用自定義格式封裝在視頻流里，這種模式主要存在以下兩個缺點：

（a）第三方播放器無法播放

因為采用了私有協(xié)議進行封裝，第三方采用標(biāo)準(zhǔn)協(xié)議的流播放器和各種瀏覽器無法播放，例如VLC和web flash。

為了解決該問題，在項目中不得不為每個前端攝像頭同時推送至少兩個視頻流，一個是標(biāo)準(zhǔn)協(xié)議視頻流，另一個是私有協(xié)議封裝了結(jié)構(gòu)化數(shù)據(jù)的視頻流。標(biāo)準(zhǔn)協(xié)議流播放器接收標(biāo)準(zhǔn)協(xié)議視頻流，算法服務(wù)器接收封裝了結(jié)構(gòu)化數(shù)據(jù)的視頻流。這種解決方案以浪費帶寬為代價，假設(shè)項目中有1萬路高清視頻流，額外多推送一個視頻流會浪費帶寬20Gbps。

（b）其他公司無法識別

這種私有格式封裝的數(shù)據(jù)，往往只能被自己公司的算法服務(wù)器支持。一方面，為了保護自身利益，大多數(shù)公司不愿意公開私有格式；另一方面，每家公司都有自己的私有協(xié)議，相互之間兼容的成本很高。

（2）針對業(yè)務(wù)規(guī)則進行視頻流和數(shù)據(jù)分離