[發明專利]用于增強圖像序列的方法

有效

• 申請號: 201910240291.4
• 申請日: 2014-03-25
• 公開（公告）號: CN110223236B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 張寧;S·Z·周
• 申請（專利權）人: 圖象公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;H04N19/30;H04N19/54;H04N19/597;H04N19/85;H04N19/187
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

提供了用于數字增強包括視頻和運動圖片圖像的圖像序列的特性的方法和系統。通過分析圖像序列中可用的圖像幀來生成由軌跡表示的高精確運動信息。本發明的一些實施例涉及從圖像序列生成多層軌跡。某些方面可適用于包括3D視頻和3D運動圖片的三維(3D)圖像序列的增強。

本申請是國際申請號為PCT/IB2014/060139、國際申請日為2014年3月25日、國家申請號為201480017667.0、發明名稱為“用精確的運動信息增強運動圖片”的專利申請的分案申請。

相關申請的參考

本申請要求于2013年3月25日提交的美國臨時申請序列號為61/814,804，名稱為“Methods?and?Systems?for?Enhancing?Motion?Pictures?with?Accurate?MotionInformation”的優先權，其全部內容通過引用并入本文。

技術領域

本公開通常涉及數字增強圖像內容的特性的領域，更具體地為用于經改進的可視的顯示質量的視頻和運動圖片內容的特性。

背景技術

對于真實世界的圖像，特別是視頻和運動圖片，在不同的圖像幀中某些圖像內容可以出現不同，這是由于許多復雜的因素，諸如噪聲的存在、照明變化、透鏡焦點的變化、對象的運動、對象的旋轉、遮蔽(occlusion)等。結果，基于跟蹤多個圖像幀的圖像內容的類似外觀的圖像增強方法，諸如常見的運動跟蹤算法，可能不能準確地跟隨圖像內容的運動，并在某些情況下，甚至可能無法識別由于不同外觀導致的一些圖像幀中的圖像內容。

發明內容

在一個示例中，提供了一種用于增強圖像序列的方法。接收具有圖像幀的圖像序列。確定用于圖像幀的分解特征。基于該分解特征計算圖像像素的特征連接(featureconnection)。基于特征連接中的至少一個選定的特征連接計算至少一個錨軌跡(anchortrajectory)。確定圖像像素與至少一個錨軌跡之間的關系。基于至少一個錨軌跡和圖像像素與至少一個錨軌跡之間的關系創建用于分解的圖像幀的圖像像素的新軌跡。限定用于新軌跡的至少一個軌跡特征，并且確定該至少一個軌跡特征是否需要在新軌跡交點處被修改。細化新軌跡交點，并生成最終軌跡。通過基于最終軌跡修改像素圖像特征來創建增強的圖像像素。基于增強的圖像像素創建增強的圖像序列。輸出增強的圖像序列。

在另一個示例中，提供了用于增強圖像序列的方法。接收具有圖像幀的圖像序列。圖像序列被分解成形成分解的圖像幀的至少兩個層。確定層中圖像幀的分解特征。基于該分解特征計算該層中圖像像素的特征連接。基于至少一個選定的特征連接計算該層的至少一個錨軌跡。確定至少兩層的每層中圖像幀的圖像像素與至少一個錨軌跡之間的關系。基于至少一個錨軌跡和圖像像素與來自至少兩層的至少一個錨軌跡之間的關系創建分解的圖像幀的圖像像素的新軌跡。限定該層中新軌跡的至少一個軌跡特征，并且確定該層中該至少一個軌跡特征是否需要在該層中的新軌跡交點處被修改。細化新軌跡交點，并生成最終軌跡。通過基于最終軌跡修改至少兩層的每層中的圖像像素特征來創建至少一層中的增強的圖像像素。基于分解的圖像層中的增強的圖像像素來創建增強的圖像序列。輸出增強的圖像序列。

在另一個示例中，提供了一種方法，其包括從圖像序列的圖像幀生成至少一個圖像處理層。確定分解特征，其是圖像幀的至少一個圖像處理層中圖像內容的特性。基于該分解特征確定特征連接。特征連接包括空間-時間位置中至少一個圖像處理層中連接圖像像素的鏈接。基于特征連接計算至少一個圖像處理層的錨軌跡。錨軌跡代表選定的圖像內容元素在圖像序列的長度上的空間-時間位置。確定圖像像素與錨軌跡之間的關系。基于該關系和該錨軌跡生成圖像像素的新軌跡。限定新軌跡的軌跡特征，并且確定該軌跡特征在至少一個圖像處理層的新軌跡交點處的修改水平。該軌跡特征代表被選定用于圖像序列中目標增強的特性。新軌跡交點以空間-時間位置的形式記錄新軌跡與圖像幀的交點。從新軌跡生成最終軌跡。基于最終軌跡通過修改至少一個圖像處理層中的像素圖像特征來生成至少一個增強的圖像層。使用至少一個增強的圖像層生成增強的圖像序列。