[發明專利]一種視頻結構化處理方法、裝置及終端設備

有效

• 申請號: 202011038705.4
• 申請日: 2020-09-27
• 公開（公告）號: CN112235598B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 劉海軍;顧鵬;蘇嵐;王成波;劉毛
• 申請（專利權）人: 深圳云天勵飛技術股份有限公司
• 主分類號: H04N21/231
• 分類號: H04N21/231;H04N21/2312;H04N21/433;H04N21/4335;H04N7/18
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 翁唱玲

1.一種視頻結構化處理方法，其特征在于，包括：

根據視頻流的分辨率，將第一緩存區域劃分成N個緩存塊；其中，每個緩存塊用于存儲一幀圖像，所述視頻流包括至少N幀圖像，每幀圖像對應一個幀號，N大于或等于2；

分別將所述視頻流的前N幀圖像中的每幀圖像緩存至一個所述緩存塊，獲取每幀圖像在所述第一緩存區域的緩存地址；

根據每幀圖像在所述第一緩存區域的緩存地址，按預設幀號順序依次從所述第一緩存區域讀取圖像并進行結構化處理；

根據結構化處理進度，分別檢測每個緩存塊中緩存的圖像是否失效；

檢測到失效的圖像時，清除所述失效的圖像，并在所述失效圖像對應的緩存塊中緩存一幀新的圖像；所述新的圖像為所述視頻流的前N幀圖像之后的圖像；

其中，所述根據每幀圖像在所述第一緩存區域的緩存地址，按預設幀號順序依次從所述第一緩存區域讀取圖像并進行結構化處理，包括：

根據每幀圖像在所述第一緩存區域的緩存地址，按幀號從小到大的順序依次從所述第一緩存區域中讀取圖像進行目標識別，獲得包含第一目標的所有第一圖像；

從所述所有第一圖像中篩選出滿足預設條件的第二圖像；

對所述第二圖像中的第一目標進行結構化描述，獲得所述第一目標的結構化描述信息并存儲；

其中，所述從所述所有第一圖像中篩選出滿足預設條件的第二圖像，包括：

按幀號從小到大的順序，依次對每幀第一圖像中的第一目標進行質量綜合評分；

分別根據每幀第一圖像中第一目標的質量綜合評分結果，從所述所有第一圖像中篩選出滿足預設條件的第二圖像；

其中，所述按幀號從小到大的順序，依次對每幀第一圖像中的第一目標進行質量綜合評分，包括：

對第一子圖像中的第一目標進行質量綜合評分，得到第一分值；其中，所述第一子圖像為幀號最小的第一圖像；

在所述第一分值大于預設閾值時，將歷史分值更新為所述第一分值；

在將所述歷史分值更新為所述第一分值時，截取所述第一子圖像中的第一目標圖像，對所述第一子圖像進行編碼，并將所述第一目標圖像和編碼后的第一子圖像緩存至第二緩存區域；

對第K子圖像中的第一目標進行質量綜合評分，得到第K分值；其中，所述第K子圖像為幀號第K小的第一圖像，K＝2,3,4…,M，M為所有第一圖像的總數量；

在所述第K分值大于或等于所述歷史分值與預設增長步長值之和時，將所述歷史分值更新為所述第K分值；

在將所述歷史分值更新為所述第K分值時，截取所述第K子圖像中的第一目標圖像，對所述第K子圖像進行編碼，并清除所述第二緩存區域中緩存的第一目標圖像及編碼后的第一圖像，將所述第K子圖像中的第一目標圖像及編碼后的第K子圖像緩存至所述第二緩存區域；

其中，所述根據每幀第一圖像中第一目標的質量綜合評分結果，從所述所有第一圖像中篩選出滿足預設條件的第二圖像，包括：

在所述歷史分值不再更新時，獲取所有第一圖像中與所述歷史分值最后更新的分值對應的第二圖像。

2.根據權利要求1所述的視頻結構化處理方法，其特征在于，所述根據每幀圖像在所述第一緩存區域的緩存地址，按幀號從小到大的順序依次從所述第一緩存區域中讀取圖像進行目標識別，獲得包含第一目標的所有第一圖像，包括：

根據每幀圖像在所述第一緩存區域的緩存地址，按幀號從小到大的順序依次從所述第一緩存區域中讀取圖像，并通過預訓練的網絡模型進行目標識別，獲得包含第一目標的所有第一圖像。

3.根據權利要求1所述的視頻結構化處理方法，其特征在于，所述按幀號從小到大的順序，依次對每幀第一圖像中的第一目標進行質量綜合評分，包括：

按幀號從小到大的順序，依次對每幀第一圖像中的第一目標從J個維度進行評分；其中，所述J個維度包括第一目標的圖像質量維度、尺寸維度、目標完整度維度、目標姿態維度中的一個或多個維度；

分別根據每幀第一圖像中的第一目標在所述J個維度的評分值和預設權重因子，獲取每幀第一圖像中的第一目標的質量綜合評分結果。