[發(fā)明專利]圖像縮放曲線生成

無效

• 申請?zhí)枺?/td>: 200980152238.3
• 申請日: 2009-12-16
• 公開（公告）號: CN102265607A
• 公開（公告）日: 2011-11-30
• 發(fā)明（設計）人: G.德哈安;C.達姆卡特
• 申請（專利權）人: 皇家飛利浦電子股份有限公司
• 主分類號: H04N5/44
• 分類號: H04N5/44
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 李舒;劉鵬

技術領域

本發(fā)明涉及一種生成用于校正圖像或圖像序列的寬高比的圖像縮放曲線的方法。更具體地，該方法依賴于檢測圖像中的局部顯著性。本發(fā)明同樣涉及一種相應的裝置和一種包括用于實現(xiàn)所述方法的步驟的指令的計算機程序產(chǎn)品。

背景技術

顯示技術領域中最近的發(fā)展已經(jīng)在顯示器尺寸方面展現(xiàn)出巨大的多樣性。顯示器從低分辨率手持設備向高清晰度寬屏TV變化。計算和通信基礎設施也正在發(fā)展以支持圖像和視頻進入這種不斷擴展的潛在顯示器的集合。可視內容對于在設備（比如蜂窩電話和手持式個人計算機（PC）、具有視頻能力的個人數(shù)字助理（PDA）和家用聯(lián)網(wǎng)媒體設備）上分享、表達和交換信息正變得更加重要。針對不同設備，相同內容被要求以不同尺寸和寬高比來顯示。縮放和剪切的標準圖像處理方法被證明不夠。所述寬高比被理解為圖像的寬度與該圖像的高度的比率。

通過使用計算機生成或轉換視頻文件，可以經(jīng)常看到所得到的視頻變得扭曲。這通常是由于無經(jīng)驗的用戶對相關軟件的不適當操作所造成的—它需要相當多關于計算機和視頻的知識，比如理解TV系統(tǒng)使用非方形像素寬高比。

而且，傳統(tǒng)計算機視頻文件格式（比如音頻視頻交織（AVI））容器缺乏用于存儲寬高比信息的合適裝置。該問題的典型實例是轉換為計算機文件的寬屏數(shù)字多用途盤（DVD），例如經(jīng)由數(shù)字生活網(wǎng)絡聯(lián)盟（DLNA）在TV上播放。通常，電影以變形（anamorphic）寬屏格式存儲。除非在轉換成計算機文件期間加以注意，否則所得到的電影在回放期間將被扭曲地再現(xiàn)，如通過比較圖1和圖2可以看到的。圖1以正確的寬高比示出寬屏電影圖像，而圖2示出當在計算機上未被正確處理時的相同圖像。在該圖中，人物和對象明顯被扭曲。

隨著寬屏TV的普及，需要區(qū)別于最初預期的可以有效地在顯示器上顯示視頻的高效方案。傳統(tǒng)上，TV實現(xiàn)一種被稱為“黑條檢測”的方法以自動調節(jié)寬高比。視頻被垂直縮放以使得黑條消失。這特別地在現(xiàn)代寬屏平板TV中完成。

Brian?Schoner等人的美國專利7339627描述了一種基于圍繞圖像的黑條進行寬高比校正的方法。當應用在市場中的TV中時，該方法具有以下缺點：如果源視頻被錯誤地編碼（比如從因特網(wǎng)展示中下載的許多視頻）或者對于2.35:1電影寬高比的電影（其甚至需要在16:9的寬屏TV上用黑條示出），則該方法失敗。

在飛利浦TV中，使用全景拉伸（Panoramic?Stretch）技術，其中圖像的邊界被拉伸以占據(jù)更寬的屏幕。盡管所述方法所基于的假設（即最重要的信息處于中心視圖中）經(jīng)常是良好的假設，但是可能存在這種各向異性的拉伸不是最優(yōu)方案的情況。期望能夠針對多種顯示器實現(xiàn)有效尺寸調整的更好的方法。

寬高比校準可能不足以再現(xiàn)適用于觀看的圖像。也可以調用圖像重定位（image?retargeting）。考慮到，重定位是在考慮場景中的內容、重要對象的同時縮放圖像。因此，它經(jīng)常被稱為感知內容的調整尺寸。特定實現(xiàn)方式中的圖像重定位首先由圖像剪切和隨后的縮放構成。視頻重定位問題比圖像定位更具挑戰(zhàn)性。由于運動和相機移動，確定視頻的重要方面是困難的。而且，當重要方面動態(tài)變化時，要求保持時間一致性。幸運的是，要保存的重要的東西高度依賴于可被良好建模的低水平視覺顯著性，但是在一些情況下它甚至可能依賴于基礎故事（underlying?story）的高水平方面。

所提出的用于感知內容的寬高比校正或重定位的現(xiàn)有技術的方法通常缺乏時間一致性，在計算上是復雜的，或者在某些情況下引入了不可接受的扭曲。

因此本發(fā)明的目的是通過提出一種用于圖像或視頻處理的改進解決方案克服上述困難和缺點。

發(fā)明內容

根據(jù)本發(fā)明的第一方面，提供一種生成圖像縮放曲線的方法，該方法包括：

-?接收圖像；

-?檢測所接收的圖像中的局部顯著性；

-?在第一方向上將該局部顯著性累加；以及

-?從所累加的局部顯著性導出圖像縮放曲線，其中所導出的圖像縮放曲線適用于在基本垂直于第一方向的第二方向上進行圖像重縮放。

因此，本發(fā)明提供一種用于生成圖像縮放曲線的非常高效的方法。而且，所提出的方法不依賴于元數(shù)據(jù)。所提出的方法不依賴于畫面（或視頻）的寬高比或取向的知識，因為該方法自動地根據(jù)圖像本身確定重要的對象、區(qū)域和/或像素。由于最近計劃引入超寬屏TV（21:9），所以本發(fā)明是特別令人感興趣的。舊的全景拉伸技術很可能不再足以放大傳統(tǒng)內容的規(guī)模。另一方面，來自文獻的當前更先進的方法遭受TV觀看的嚴重缺陷并且通常太昂貴。