[發明專利]基于圖像分割繪制圖像

有效

• 申請號: 200580039226.1
• 申請日: 2005-11-08
• 公開（公告）號: CN101061519A
• 公開（公告）日: 2007-10-24
• 發明（設計）人: F·E·厄恩斯特;P·－A·雷德特
• 申請（專利權）人: 皇家飛利浦電子股份有限公司
• 主分類號: G06T15/20
• 分類號: G06T15/20
• 代理公司: 中國專利代理(香港)有限公司
• 代理人: 王岳;劉紅

技術領域

本發明通常涉及一種用于通過確定由圖像片段(segment)的邊界引入的圖像內的至少一條邊緣，提供基于圖像分割(segmentation)的繪制(rendering)圖像的方法和系統。?

背景技術

例如，基于移位(shift)的繪制應用于壓縮應用以及繪制“圖像+深度”數據(諸如多視角顯示器上的2.5維(2.5-D)圖像數據)的領域中。當必須基于現有圖像生成新的圖像，例如，當略微改變視點或略微推遲觀看時間時，可以運用基于移位的繪制。例如，當運動估計應用于壓縮圖像時，還要運用圖像分割。當分割圖像并且移位片段時，需要對空洞填充和邊緣模糊進行處理。對于基于移位的繪制，原始的圖像數據是有效的。此外，還提供位移場(displacement?field)或等效深度映射。該位移場或深度映射為每個像素確定此像素必須移位的距離。然而，大多數情況下，當移位像素時，這些像素不是全部移位相同的值，從而產生空洞填充的問題。而且，由于邊緣模糊，通常無法將片段的邊界確定到像素的級別。?

典型地，對于一個圖像內的全部像素，位移場是不同的。位移場差導致雙占有，輸出圖像中兩個像素向同一位置移位，還導致空洞，即輸出圖像中特定位置無賦值的像素。雖然雙占有能夠相應地很容易得到解決，但是空洞填充時則需要計算適合該空洞的新圖像數據。?

從2003年在西班牙格蘭納達薄呢召開的Eurographics?Conference的資料，R.P.Berretty和F.E.Ernst提出的“來自2.5D視頻的高質量圖像”中介紹了一種方法，該方法能夠使用如2.5D圖像數據內的隱藏層信息計算新圖像數據。?

圖像分割可以基于運動場內的變化通常發生在物體邊界，并且物體邊界通常與例如色彩邊界相一致的事實。一種可能的圖像分割方法可以分組具有相似顏色的像素。圖1舉例說明了一種用于圖像分割的解決方法。圖1中的實線表示片段邊界2，有點的區域表示圖像片段?4。圖像分割是眾所周知的，而且有多種方法可用于圖像分割。例如，2002年哥本哈根計算機視覺歐洲會議的資料，施普林格關于計算機科學的演講記錄，第2531卷中，第II-217-II-231頁，F.Ernst、P.Wilinski和K.van?Overveld的“來自運動的結構密度：一種基于片段匹配的方法(Dense?structure-from-motion：an?approach?based?on?segment?matching)”中描述了一種可能的圖像分割方法。?

片段像素的不同移位導致空洞填充問題。片段邊界經常出現在不連續處，如顏色不連續。因此，需要在具有大量變差(variation)，例如顏色變差的區域內執行空洞填充的插補程序。另外，插補通常不得不從邊界的一側進行，需要空洞填充算法來分辨圖像中什么是前景，什么是背景。此外，由于采集系統，物體之間的邊界在多個像素上變得模糊。模糊導致邊緣定義不清晰不尖銳，而是像洗過的一樣。繪制程序中，如果對這種模糊處理不當，則可能導致幻影邊緣。?

迄今為止，現有技術具有在與具有大量變差的圖像邊界(諸如色彩邊界)一致的物體邊界處填充空洞的問題。另外，需要對物體邊界的模糊進行處理。?

發明內容

本發明的目的是提供一種能夠克服這些問題的片段移位的方法。另一個目的是提供一種即使不了解物體邊界的深度排序也能提供滿意結果的片段移位方法。此外，本發明另一個目的是提供一種無需估計物體邊界的模糊量便可移位片段的方法。?

一種提供基于圖像分割繪制的圖像的方法能夠實現這些和其他目的，該方法確定該圖像內由圖像片段的邊界引入的至少一個邊緣，確定該邊緣周圍的邊緣區域，確定片段的第一位移場，確定該邊緣區域的第二位移場，將第一和第二位移場合并為具有片段的第一位移場的位移和至少部分邊緣區域的第二位移場位移的第三位移場，以使得能夠將邊緣區域視為一個具有單獨位移的單獨物體進行處理，并且依據第三位移場移位圖像像素。?

通過將空洞位移到具有較少變差的區域內，本發明方法允許簡單的空洞填充程序。此外，本發明方法能夠自動處理模糊效應，因為具有邊緣模糊的區域是獨立于所述片段進行移位的。既不需要深度排序?信息，也不需要關于邊緣模糊的信息。可以將剩余的空洞放置在物體內部，而不在邊緣內部。這樣，就能夠更容易地通過插補來空洞填充。通過考慮到了邊緣區域，能夠對模糊邊緣進行處理。?