[發明專利]一種基于時空上下文的視頻全景分割方法

在審

• 申請號: 202210102817.4
• 申請日: 2022-01-27
• 公開（公告）號: CN114494335A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 王樂;劉洪振;周三平;陳仕韜;辛景民;鄭南寧
• 申請（專利權）人: 西安交通大學;寧波市舜安人工智能研究院
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06T7/269;G06V10/26;G06V10/62;G06V10/82;G06V20/40
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 李鵬威

本發明公開了一種基于時空上下文的視頻全景分割方法，包括以下步驟：將待全景分割的視頻處理為連續的圖像序列；獲取圖像序列間的光流；獲取圖像序列中每幅圖像的圖像全景分割結果；基于光流所蘊含的視頻時間上下文信息和圖像序列所蘊含的空間上下文信息，對圖像序列中每幅圖像的圖像全景分割結果進行分割邊緣精細化優化，獲得優化后的圖像全景分割結果；基于光流所蘊含的視頻時間上下文信息和優化后的圖像全景分割結果，將圖像序列中出現的每個物體進行一致性關聯，獲得視頻全景分割結果。本發明的視頻全景分割方法，可獲得更準確的視頻全景分割結果。

技術領域

本發明屬于計算機視覺技術領域，涉及視頻全景分割領域，特別涉及一種基于時空上下文的視頻全景分割方法。

背景技術

近年來，人們對圖像場景理解和建模的要求越來越高，這是因為精確的場景模型是高層智能安防及自動駕駛等任務的基礎。智能安防與自動駕駛等任務的前提是必須對給定場景進行精確的目標檢測與圖像分割，圖像分割是圖像識別和計算機視覺中至關重要的預處理階段。

全景分割任務在解決了語義分割無法區分前景事物個體與范圍信息的同時，也解決了實例分割無法區分背景語義信息的問題，旨在得到更加綜合、更加全面的圖像分割結果。視頻上的全景分割任務則把圖像上面的全景分割拓展到視頻域，不僅解決了單幀圖像上的分割問題，同時還涉及了多目標跟蹤、視頻目標分割、視頻語義分割、視頻實例分割等視頻處理領域的任務，可以幫助計算機充分理解視頻中的復雜場景，因此可以在大量降低人力成本的前提下，對視頻安全監控、城市治安、交通調度、事故預警、消防等領域發揮重要的作用，也可以極大促進機器人應用領域和無人車自動駕駛任務的快速發展。

目前，視頻全景分割技術主要存在以下幾個問題：

(1)視頻全景分割領域對于視頻序列所包含的時序信息并沒有充分地獲得和利用，導致現有的模型在進行不同視頻幀之間物體關聯時，更多是利用所檢出物體本身的特征，而未能使用視頻的時序信息；

(2)視頻中存在的物體均處于運動狀態，物體運動以及相機運動帶來的運動模糊導致運動物體的邊緣未能很好地實現精細分割，現有視頻全景分割方法不能很好地解決這一問題。

發明內容

本發明的目的在于提供一種基于時空上下文的視頻全景分割方法，以解決上述存在的一個或多個技術問題。本發明的視頻全景分割方法，可獲得更準確的視頻全景分割結果。

為達到上述目的，本發明采用以下技術方案：

本發明提供的一種基于時空上下文的視頻全景分割方法，包括以下步驟：

將待全景分割的視頻處理為連續的圖像序列；

獲取圖像序列間的光流；

獲取圖像序列中每幅圖像的圖像全景分割結果；

基于光流所蘊含的視頻時間上下文信息和圖像序列所蘊含的空間上下文信息，對圖像序列中每幅圖像的圖像全景分割結果進行分割邊緣精細化優化，獲得優化后的圖像全景分割結果；

基于光流所蘊含的視頻時間上下文信息和優化后的圖像全景分割結果，將圖像序列中出現的每個物體進行一致性關聯，獲得視頻全景分割結果。

本發明方法的進一步改進在于，所述獲取圖像序列間的光流的步驟包括：采用預選取的光流網絡，獲取視頻中每相鄰兩幀圖像之間的光流；其中，第t-1幀圖像I_t-1到第t幀圖像I_t的光流表示為F_t。