[發(fā)明專利]一種高性能分布式結合的多路視頻實時處理方法

在審

• 申請?zhí)枺?/td>: 202111010024.1
• 申請日: 2021-08-31
• 公開（公告）號: CN113535366A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設計）人: 劉必振;丁皓
• 申請（專利權）人: 知見科技（江蘇）有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;H04N5/265
• 代理公司: 南京蘇創(chuàng)專利代理事務所(普通合伙) 32273
• 代理人: 吳太平

1.一種高性能分布式結合的多路視頻實時處理方法，其特征在于，包括如下步驟：

A、構建視頻處理pipeline，所述視頻處理pipeline包括視頻解碼模塊、視頻前處理模塊、視頻模型推理模塊和視頻后處理模塊；

B、開啟多進程/線程：每個處理模塊開啟多進程方式，而每個進程開啟多個線程；各模塊開啟的進程/線程數(shù)量，根據(jù)業(yè)務場景需要、模型性能和軟硬件資源限制共同確定；

C、構建上下游模塊間的共享隊列，設置數(shù)據(jù)存取策略。

2.根據(jù)權利要求1所述的高性能分布式結合的多路視頻實時處理方法，其特征在于，所述開啟多進程/線程包括：設視頻源路數(shù)為；解碼模塊進程數(shù)為，第個解碼進程開啟的線程數(shù)為；前處理模塊進程數(shù)為，第個前處理進程開啟的線程數(shù)為；模型推理模塊進程數(shù)為，第個模型推理進程開啟的線程數(shù)為；后處理模塊進程數(shù)為，第個后處理進程開啟的線程數(shù)為。

3.根據(jù)權利要求1所述的高性能分布式結合的多路視頻實時處理方法，其特征在于：步驟C具體包括如下步驟：

C1、視頻源數(shù)據(jù)讀取：僅考慮每路視頻只能被一個進程/線程解碼，一個進程/線程能夠解碼多路視頻的情形，則；

令，若滿足，其中，，則將第路視頻分發(fā)至第個解碼進程的第個線程；

C2、上下游模塊進程間數(shù)據(jù)存取：

C21、共享隊列數(shù)量設置：

記模塊與模塊間的隊列數(shù)為，則要求，避免多個進程同時對一個隊列操作，從而產生系統(tǒng)切換開銷；

C22、數(shù)據(jù)存取策略設計；

C23、模型批推理。

4.根據(jù)權利要求3所述的高性能分布式結合的多路視頻實時處理方法，其特征在于，C22具體包括如下步驟：1）情形：

上游模塊進程與共享隊列一一綁定，每個上游模塊進程處理完的數(shù)據(jù)存入各自專有的共享隊列，下游模塊進程采用拉的方式輪詢從共享隊列中讀取數(shù)據(jù)；

2）情形：

上游模塊處理進程采用推的方式將處理完的結果數(shù)據(jù)存放至從共享隊列，因此一個上游模塊處理進程對應多個共享隊列；

3）情形：

上下游模塊進程數(shù)均小于共享隊列數(shù)量，此時采用高性能分布式結合方式進行數(shù)據(jù)存取。

5.根據(jù)權利要求3所述的高性能分布式結合的多路視頻實時處理方法，其特征在于：C23具體包括如下操作步驟：

1）建立臨時列表，設置批推理數(shù)據(jù)大小batch_size；

2）以非等待方式從輸入隊列中讀取數(shù)據(jù)，若成功則將數(shù)據(jù)保存至臨時列表，并進行步驟3），否則跳轉至步驟4）；

3）判斷列表長度是否等于batch_size，若是進行步驟4），否則重復進行步驟2）；

4）對臨時列表數(shù)據(jù)進行模型批推理；

5）將臨時列表數(shù)據(jù)置空，重復進行步驟2）。

6.根據(jù)權利要求1所述的高性能分布式結合的多路視頻實時處理方法，其特征在于：所述解碼模塊使用的工具包括FFmpeg、VideoProcessingFramework。