[發明專利]一種基于時空上下文的視頻全景分割方法

在審

• 申請號: 202210102817.4
• 申請日: 2022-01-27
• 公開（公告）號: CN114494335A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 王樂;劉洪振;周三平;陳仕韜;辛景民;鄭南寧
• 申請（專利權）人: 西安交通大學;寧波市舜安人工智能研究院
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06T7/269;G06V10/26;G06V10/62;G06V10/82;G06V20/40
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 李鵬威

1.一種基于時空上下文的視頻全景分割方法，其特征在于，包括以下步驟：

將待全景分割的視頻處理為連續的圖像序列；

獲取圖像序列間的光流；

獲取圖像序列中每幅圖像的圖像全景分割結果；

基于光流所蘊含的視頻時間上下文信息和圖像序列所蘊含的空間上下文信息，對圖像序列中每幅圖像的圖像全景分割結果進行分割邊緣精細化優化，獲得優化后的圖像全景分割結果；

基于光流所蘊含的視頻時間上下文信息和優化后的圖像全景分割結果，將圖像序列中出現的每個物體進行一致性關聯，獲得視頻全景分割結果。

2.根據權利要求1所述的一種基于時空上下文的視頻全景分割方法，其特征在于，所述獲取圖像序列間的光流的步驟包括：

采用預選取的光流網絡，獲取視頻中每相鄰兩幀圖像之間的光流；其中，第t-1幀圖像I_t-1到第t幀圖像I_t的光流表示為F_t。

3.根據權利要求2所述的一種基于時空上下文的視頻全景分割方法，其特征在于，所述獲取圖像序列中每幅圖像的圖像全景分割結果的步驟包括：

使用預選取的圖像全景分割網絡，獲取圖像序列中每幅圖像的圖像全景分割結果；其中，對第t幀圖像I_t進行圖像全景分割時，給定輸入圖像I_t∈R^3×H×W，獲取的中間特征表示為P₂、P₃、P₄、P₅；得到的圖像全景分割結果包括語義分割結果S_t，以及實例分割結果中的N_t個物體的包圍框B_t、分割結果M_t和類別

4.根據權利要求3所述的一種基于時空上下文的視頻全景分割方法，其特征在于，所述基于光流所蘊含的視頻時間上下文信息和圖像序列所蘊含的空間上下文信息，對圖像序列中每幅圖像的圖像全景分割結果進行分割邊緣精細化優化，獲得優化后的圖像全景分割結果的步驟具體包括：

根據得到的光流信息和圖像全景分割結果中的特征分數，對運動物體邊緣處的像素點進行采樣，并獲取所有采樣點的特征；

基于采樣點的特征訓練兩個像素點分類器，分別用于處理語義分割和實例分割結果中運動物體邊緣處的采樣點；

將低于預設閾值的低分辨率的分割結果進行逐步上采樣，在上采樣過程中，對運動物體邊緣處的點進行迭代采樣的重分類，最終獲得優化后的圖像全景分割結果。

5.根據權利要求4所述的一種基于時空上下文的視頻全景分割方法，其特征在于，所述根據得到的光流信息和圖像全景分割結果中的特征分數，對運動物體邊緣處的像素點進行采樣，并獲取所有采樣點的特征的步驟包括：

通過對光流F_t進行邊緣提取得到邊緣，在邊緣處隨機選取3N個點Points；

根據分割特征圖的類別分數選擇其中困難的點，所述困難的點為語義分割特征圖中最高類別分數與次高類別分數接近的點、實例分割特征圖中分數接近0.5的點；

將采樣點在中間特征P₂、P₃、P₄、P₅中對應的特征圖P_ori經過兩個全連接層得到最終的點特征P_new＝MLP(P_ori)。

6.根據權利要求5所述的一種基于時空上下文的視頻全景分割方法，其特征在于，所述將預設低分辨率的分割結果進行逐步上采樣，在上采樣過程中，對運動物體邊緣處的點進行迭代采樣的重分類，最終獲得優化后的圖像全景分割結果的步驟具體包括：

首先對低于預設閾值的低分辨率的分割結果上采樣，由原始圖像大小的1/4到1/2；接著采樣預設需要精細分割的點Points并獲取特征P_new，使用訓練好的分類器對采樣的點進行重新分類，獲得重分類結果；使用重分類結果替換上采樣結果中對應的位置，迭代直到恢復到原圖尺寸大小，最終獲得優化后的圖像全景分割結果。