[發明專利]用于生成圖像的初始超像素標簽圖的方法和裝置

在審

• 申請號: 201680008034.2
• 申請日: 2016-01-20
• 公開（公告）號: CN107209938A
• 公開（公告）日: 2017-09-26
• 發明（設計）人: J.雅查爾斯基;B.羅森哈恩;M.雷索
• 申請（專利權）人: 湯姆遜許可公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/33
• 代理公司: 北京市柳沈律師事務所11105
• 代理人: 呂曉章

技術領域

本原理涉及一種用于從圖像序列生成當前圖像的初始超像素標簽圖的方法和裝置。特別地，本原理涉及一種用于使用快速標簽傳播方案從圖像序列生成當前圖像的初始超像素標簽圖的方法和裝置。

背景技術

超像素算法代表用于廣泛的計算機視覺應用(分割、圖像解析、分類等)的非常有用的和越來越流行的預處理步驟。將相似的像素分組成所謂的超像素導致圖像基元的較大減少，即允許對圖像進行完整描述的特征的較大減少，其為后續處理步驟帶來增加的計算效率或者考慮到更復雜的算法，這在像素級上會是計算上不可行的，并且為基于區域的特征創建空間支持。

超像素算法將像素分組成超像素，“它們是局部的、連貫的，并且以感興趣的規模保留大部分分割所需的結構”[1]。超像素應該“在大小和形狀上大致均勻”[1]。

用于視頻內容的許多近來的超像素算法依賴于密集光流向量來將分割結果從一幀傳播到下一幀。對光流質量對于過分割質量的影響的評估表明，對于具有大的物體位移和相機運動的視頻來說，其為不可或缺的。然而，歸因于高計算成本，高質量的、密集光流的計算不適用于實時應用。

發明內容

本發明的目的是提出一種用于從圖像序列生成當前圖像的初始超像素標簽圖的改進的解決方案。

根據本原理的一個方面，一種用于從圖像序列生成當前圖像的初始超像素標簽圖的方法包括：

-確定當前圖像中的特征；

-追蹤所確定的特征回到先前圖像中；以及

-基于所追蹤的特征，將關聯到先前圖像的超像素標簽圖變換成當前圖像的初始超像素標簽圖。

因此，一種計算機可讀存儲介質，具有其中存儲的用于從圖像序列生成當前圖像的初始超像素標簽圖的指令，當所述指令由計算機執行時，使得計算機：

-確定當前圖像中的特征；

-追蹤所確定的特征回到先前圖像中；以及

-基于所追蹤的特征，將關聯到先前圖像的超像素標簽圖變換成當前圖像的初始超像素標簽圖。

計算機可讀存儲介質是非臨時性的易失性或非易失性存儲介質，諸如例如硬盤、光盤或磁盤或磁帶、固態存儲設備等。因此存儲介質有形地體現可由計算機或處理設備執行的指令的程序，以執行如在此描述的程序步驟。

此外，在一個實施例中，一種用于從圖像序列生成當前圖像的初始超像素標簽圖的裝置包括：

-特征檢測器，其被配置為確定當前圖像中的特征；

-特征追蹤器，其被配置為追蹤所確定的特征回到先前圖像中；以及

-變換器，其被配置為基于所追蹤的特征，將關聯到先前圖像的超像素標簽圖變換成當前圖像的初始超像素標簽圖。

在另一實施例中，一種用于從圖像序列生成當前圖像的初始超像素標簽圖的裝置包括處理設備和存儲設備，所述存儲設備具有其中存儲的指令，當所述指令由處理設備執行時，使得所述裝置：

-確定當前圖像中的特征；

-追蹤所確定的特征回到先前圖像中；以及

-基于所追蹤的特征，將關聯到先前圖像的超像素標簽圖變換成當前圖像的初始超像素標簽圖。

為了對超像素標簽圖進行變換，對于當前圖像和先前圖像從所確定的特征生成由三角形組成的網格。然后將當前圖像的網格向后變形到先前圖像的網格上。為此目的，針對當前圖像中的每個三角形，確定用于將該三角形變換成先前圖像中的對應三角形的仿射變換的變換矩陣。使用所確定的變換矩陣，將當前圖像中的每個像素的坐標變換成先前圖像中的經變換的坐標。然后，在每個像素位置處，利用在對應的經變換的像素位置處關聯到先前圖像的標簽圖的標簽，對當前圖像的超像素標簽圖進行初始化。

所提出的解決方案使用在稀疏特征追蹤和基于網格的圖像變形的基礎上的快速標簽傳播方案。歸因于處理成本的大幅降低，該方法顯著加快了傳播處理。同時，最終的超像素分割質量與使用高質量的、密集光流的方法相當。

在一個實施例中，將經變換的坐標剪裁到最近的有效像素位置。以這種方式，確保對于當前圖像的超像素標簽圖中的每個像素位置，從關聯到先前圖像的標簽圖中分配的標簽是明確的。

在一個實施例中，在當前圖像和先前圖像的每個角落處和每個邊界的中心處添加特征。這確保每個像素被三角形覆蓋。

在一個實施例中，將與初始超像素標簽圖中的主要大量超像素分離的像素分配給相鄰超像素。這保證了超像素的空間一致性。

所描述的方法不僅適用于時間圖像序列。它同樣可以用于多視圖圖像的各個圖像并且甚至用于多視圖圖像的序列。

附圖說明