[發(fā)明專利]利用針對圖像區(qū)域提供的附加內(nèi)容來生成經(jīng)修改的圖像

有效

• 申請?zhí)枺?/td>: 201080027432.1
• 申請日: 2010-05-05
• 公開（公告）號: CN102460515A
• 公開（公告）日: 2012-05-16
• 發(fā)明（設計）人: E·舍徹曼;D·戈德曼
• 申請（專利權）人: 奧多比公司
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06T11/60
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅;姜彥

相關申請

本申請要求2009年5月6日提交的序列號為No.61/215,465的美國臨時申請以及2009年5月21日提交的序列號為No.12/454,666的美國專利申請的優(yōu)先權，其標題均為“GENERATING?A?MODIFIED?IMAGE?WITH?ADDITIONAL?CONTENT?PROVIDED?FOR?A?REGION?THEREOF”，它們每個的全文均通過引用而包含于此。

背景技術

本說明書涉及數(shù)字圖像處理。

一些現(xiàn)有圖像處理技術使用基于補丁(patch)的技術來操縱內(nèi)容。處理可以涉及分析或合成圖像內(nèi)容的補丁(例如，像素群組)。例如，基于補丁的方式被用于對圖像和視頻內(nèi)容的降噪；提高圖像分辨率，諸如執(zhí)行超分辨率；壓縮圖像內(nèi)容；諸如通過重定向來改變圖像縱橫比；重組圖像內(nèi)容；將圖像拼接在一起；編輯圖像內(nèi)容；以及執(zhí)行紋理合成。基于補丁的方法對于合成操作可具有一些益處。例如，可以處理結構、紋理、重復性圖案和冗余。

已經(jīng)嘗試了按照不同方式來使圖像完整的多種技術，并且這些技術可以依賴于基于補丁的技術。例如，存在孔洞填補技術，其試圖通過分析圖像中其他地方的內(nèi)容來找出用于該圖像中的孔洞的內(nèi)容。還存在克隆技術，其中用戶可以人工地選擇源區(qū)域，該源區(qū)域繼而被克隆至目標區(qū)域以填充該孔洞。

發(fā)明內(nèi)容

本發(fā)明涉及使用由用戶提供的語義信息的圖像修改。

在第一方面，一種計算機實現(xiàn)的用于生成經(jīng)修改圖像的方法，包括：在計算機系統(tǒng)中顯示圖像。該圖像包括其內(nèi)具有可視特征的內(nèi)容，該內(nèi)容具有被定義為在生成經(jīng)修改圖像時被提供附加內(nèi)容的區(qū)域。該方法包括：接收包括要放置在該圖像上的語義標記的輸入，該語義標記指示該區(qū)域內(nèi)的區(qū)域內(nèi)部分和該區(qū)域外的區(qū)域外部分。該方法包括使用向該圖像應用的基于補丁的優(yōu)化算法來確定用于該區(qū)域的附加內(nèi)容，該基于補丁的優(yōu)化算法(i)基于該區(qū)域外部分而不基于該語義標記未指示的圖像區(qū)域來識別用于該區(qū)域內(nèi)部分的附加內(nèi)容；以及(ii)在不限制于該區(qū)域外部分的情況下，識別用于該區(qū)域的剩余部分的附加內(nèi)容。該方法包括存儲在該區(qū)域中具有附加內(nèi)容的經(jīng)修改圖像。

各種實現(xiàn)可以包括以下特征中任意或全部特征。區(qū)域可以包括圖像中不包含內(nèi)容的孔洞，并且經(jīng)修改圖像可以在孔洞填充過程中生成。該孔洞可被填充以使得特征延伸到之前未包含該內(nèi)容的區(qū)域中。圖像可以是照片，而特征可以是物理對象，并且區(qū)域可以對應于特征中缺失的物理對象的結構而被定義。語義標記可以使用至少以下之一做出：直線工具、弧線工具、刷子工具、區(qū)域選擇工具及其任意組合。語義標記的一部分可以放置在區(qū)域內(nèi)部以指示區(qū)域內(nèi)部分，而語義標記的另一部分可以放置在區(qū)域外部以指示區(qū)域外部分。可以將識別特性指派給語義標記，該識別特性將語義標記與圖像中的至少一個其他語義標記相區(qū)分，從而使得基于補丁的優(yōu)化算法單獨處理各語義標記。語義標記可以相互交叉，并且基于補丁的優(yōu)化算法可以單獨處理各語法標記。該方法還可以包括接收針對基于補丁的優(yōu)化處理來定義附加語義約束的另一輸入。該附加約束可以包括至少以下之一：針對基于補丁的優(yōu)化算法的連貫性(coherence)方面定義的第一搜索空間限制，該第一搜索空間限制拒絕至少圖像的第一區(qū)域在附加內(nèi)容中的使用；以及針對基于補丁的優(yōu)化算法的完整性(completeness)方面定義的第二搜索空間限制，該第二搜索空間限制要求附加內(nèi)容關于由第二搜索空間限制所指示的圖像的第二區(qū)域是完整的。區(qū)域外部分可以位于與具有該區(qū)域的圖像分離的另一圖像中。

可以使用有形地體現(xiàn)在有形程序載體中的計算機程序產(chǎn)品來實現(xiàn)方法，該計算機程序產(chǎn)品包括指令，當該指令由處理器執(zhí)行時，執(zhí)行方法。

在第二方面，一種圖形用戶界面，包括：在計算機系統(tǒng)中顯示圖像的圖像顯示區(qū)域，該圖像包括其內(nèi)具有可視特征的內(nèi)容，該內(nèi)容具有被定義為在生成經(jīng)修改圖像時被提供附加內(nèi)容的區(qū)域。該圖形用戶界面包括用于接收包括要放置在該圖像上的語義標記的輸入的輸入控件，該語義標記指示該區(qū)域內(nèi)的區(qū)域內(nèi)部分和該區(qū)域外的區(qū)域外部分。使用向該圖像應用的基于補丁的優(yōu)化算法來確定用于該區(qū)域的附加內(nèi)容，該基于補丁的優(yōu)化算法(i)基于該區(qū)域外部分而不基于該語義標記未指示的圖像區(qū)域來識別用于該區(qū)域內(nèi)部分的附加內(nèi)容；以及(ii)在不限制于該區(qū)域外部分的情況下，識別用于該區(qū)域的剩余部分的附加內(nèi)容，并且存儲在該區(qū)域中具有附加內(nèi)容的經(jīng)修改圖像。