[發明專利]視覺注意模式

有效

• 申請號: 02101697.6
• 申請日: 2002-01-17
• 公開（公告）號: CN1366422A
• 公開（公告）日: 2002-08-28
• 發明（設計）人: W·M·奧斯博格
• 申請（專利權）人: 特克特朗尼克公司
• 主分類號: H04N5/00
• 分類號: H04N5/00;H04N5/222;H04N5/14
• 代理公司: 中國專利代理(香港)有限公司
• 代理人: 王勇,王忠忠

技術領域

本發明涉及視頻質量分析，特別涉及改進的視覺注意模式，以便自動地確定在視頻信號的圖像中感興趣的區域。

背景技術

早期被適當調整的視覺系統的模式提供被壓縮的自然圖像中視覺失真位置的準確預測。數據逼真映像產生主觀質量的估算，目前的現代化質量度量標準將執行所有可見誤差的簡單求和。但是在主觀評估圖像質量期間并未考慮任何更高的水平或已知的有認識力的因素出現。

失真對整個圖像質量的影響被理解為以其相對場景內容的位置的強烈影響。似人視覺系統(HVS)的可變分辨力性質意味著只有在視網膜凹斑處可得到高的分辨力，該視網膜凹斑具有約2度的直徑。通過有規則的眼睛運動以便將該區域置位于視網膜凹斑條件下獲得一個場景的資料。早期視覺模式假定一個“無限的網膜凹斑”，即場景是在這樣一種假設下進行處理的，即所有區域由高分辨力視網膜凹斑進行觀察。但是眼睛運動的研究指出觀察并不使場景中所有區域等同地處于視網膜凹斑。代之以識別幾個地區為似人視覺注意處理感興趣的區域(ROI)，并且觀察傾向于重復地返回到這些ROI而不是仍未被處于視網膜中區的地區。人們知道在這些ROI中圖象的逼真度對整個圖象質量具有最大的影響。

當觀察自然場景時，似人視覺注意和眼睛運動的知識，與對象的選擇的和相關的眼睛運動模式相聯合，提供似人視覺注意計算模式改進的結構。研究已指出，人們的注意受大量在圖象運動中存在的不同特征所影響，例如亮度對比度，顏色對比度，目標大小，目標形狀，人和面部在場景中的位置，以及該目標是否為前景或背景的部分。在文獻中已介紹了少量簡單的視覺注意模式。這些模式以不設監理方式針對檢測一個場景中的ROI。它們通常設計用于不復雜的靜止的圖像。在防止其用作典型娛樂影視的增強注意模式中明顯存在大量的缺陷。包括：有限數量的使用的注意特征；未施加不同的加權到不同的特征；缺乏分段技術中的強度；缺乏時間模式；使用過分簡單的算法提取注意特征。未說明推薦的模式能牢固地橫跨寬范圍的圖像內容工作和未報告其對人眼運動的相關性。

如在下列文章中所指出的，公開了一種用于自動確定場景中視覺重要地區作為重要性映像(IM)的技術：Wilfried?Qsberger，AnthongJ.Maeder?and?Neil?Bergmann：“A?Perceptually?BassedQuantization?Technique?for?MPEG?Encoding”，Proceedings?SPIE3299-Human?Vision?and?Electronic?Imaging?111，San?Jose，USA，pp.48-159，26-29?January?1998。如上所述，這些映像是通過組合影響似人視覺注意和眼睛運動的已知因素而產生的。為了編碼分配較低量化到可見重要地區和較少視覺重要性地區具有一個分配的更苛刻的量化。結果表明圖像質量主觀的改進。

在現有技術中使用典型的遞歸分開-和-合并分段來執行分段。在分段后，該結果由五個空間特征處理以產生單獨的空間重要性映像：對比度；大小；形狀；位置和背景。運動也被采納到考慮之中以產生一個時間的重要性映像。這些單獨的重要性映像的每一個將被平方以增強高重要性地區并之后被等同地加權以產生最后的IM。但是感覺到這種技術并不充分牢靠。

使用比現有技術更牢固的人為注意和眼睛運動的特性所要求的是一種自動方式去預測何處ROI似乎位于典型娛樂影視的自動場景中。

發明內容

按本發明提供一種使用視覺注意模式自動標記在一個影視圖像中的感興趣的區域的方法。基于顏色和亮度一個目前幀被適當地分段成多個區域。每個區域由多個包括顏色和表皮的空間特征算法并行處理以產生相應的空間重要性映像。組合空間重要性映像以產生一個綜合的空間重要性映像，這種組合是基于由眼睛運動研究導出的加權。目前幀和一個在先幀也被處理以產生用于目前幀的運動矢量，接著在被轉換到一個時間重要性映像之前對該運動矢量作攝像機的運動校正。通過線性加權組合綜合的空間重要性映像和時間重要性映像以對目前幀產生一個完整的重要性映像，以及線性加權常數從眼睛運動研究導出。

結合附加權利要求和附圖閱讀時從下列詳細說明對本發明目的，優點和其他新的特征將顯而易見。

附圖說明

圖1是按本發明的改進的視覺注意模式的方塊圖。

圖2(a)是一個目前幀的一個圖像。

圖2(b)是按本發明獲得的圖像的完整重要性映像。

圖3是一條曲線，說明按亮度的一個閾值的變化，用于按本發明的空間特征之一。