[發明專利]自動地分割和調整圖像

在審

• 申請號: 201980097068.7
• 申請日: 2019-07-15
• 公開（公告）號: CN114096986A
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 奧利·利巴;弗洛里安·凱恩茲;蔡隆祺;耶爾·普里奇·克納恩
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;鄧聰惠

設備將圖像自動地分割成不同區域，并且自動地調整與每個不同區域相關聯的感知曝光水平或其他特性，以產生超過所使用的光學器件和相機設備的類型的預期的圖片，并且在一些情況下，圖片甚至類似于使用專業設備和照片編輯軟件創建的其他高質量照片。訓練機器學習模型以將圖像自動地分割成不同區域。模型輸出定義不同區域的一個或多個蒙版。使用引導濾波器或其他技術來細化蒙版，以確保蒙版的邊緣符合圖像中描繪的對象的邊緣。通過將蒙版應用于圖像，設備可以單獨地調整不同區域中的每一個的相應特性，以產生場景的更高質量的圖片。

背景技術

移動計算設備通常包括用于捕獲圖像和視頻的相機。一些移動計算設備(例如，移動電話)包括用于產生與使用專業相機裝備拍攝的圖像類似的高質量圖像的高級相機技術。過去可能依賴于專用相機設備的一些用戶現在可能幾乎完全使用內置在移動電話中的相機來拍攝圖片。盡管具有先進的相機技術，但是一些移動計算設備難以產生滿足用戶期望的高質量圖片。這樣的預期可能是不現實的，特別是考慮到移動電話中的相機可能不適合于某些條件，例如，低光圖像或具有多個光源的圖像可能更難以處理。

發明內容

描述了一種計算設備，其將圖像自動地分割成不同區域并自動地調整與不同區域中的每一個相關聯的感知曝光水平、噪聲、白平衡或其他特性。計算設備執行機器學習模型，該機器學習模型被訓練以將“初始”圖像(例如，原始圖像、低分辨率變形或增強版本)自動地分割成不同區域。該模型輸出定義不同區域的蒙版(mask)，然后計算設備使用邊緣感知平滑技術(諸如引導濾波器)來細化蒙版，以使蒙版的邊緣符合圖像中描繪的對象的邊緣。通過將細化的蒙版應用于圖像，計算設備可以單獨地調整每個不同區域的特性，以通過匹配場景的不同部分的人類感知來產生看起來具有更高質量的“新”圖像。

計算設備可以在有或沒有用戶輸入的情況下自動地執行所描述的技術。通過使用機器學習模型，計算設備可以粗略地定義不同區域的邊界，然后使用細化和/或統計方法，計算設備可以將用于每個區域的蒙版調整大小并與圖像中描繪的對象的邊緣匹配。因此，計算設備可以準確地識別不同區域并準確地定義不同區域的邊緣。以這種方式，可以提供對原始圖像的更準確和完整的分割。通過在調整圖像之前自動地分割圖像，計算設備可以單獨地調整不同區域的每一個，而不是通過對所有不同區域應用調整來普遍地調整整個圖像，即使一些調整可能不適合于圖像的一些部分。因此，與計算設備確定并將一組公共調整應用于整個圖像相比，該計算設備可以產生更高質量的圖像。

貫穿本公開，描述了計算系統(例如，計算設備、客戶端設備、服務器設備、計算機或其他類型的計算系統)可以分析與用戶相關聯的信息(例如，圖像)的示例。然而，計算系統可以被配置為僅在計算系統從計算系統的用戶接收到使用數據的明確許可之后才使用該信息。例如，在下面討論的情況下，其中，計算設備分析從集成在計算設備內的相機輸出的圖像，可以為各個用戶提供機會來提供輸入以控制計算設備的程序或特征是否可以收集和利用圖像，例如，用于自動分割和操縱圖像。各個用戶可以始終控制程序可以利用圖像做什么或不能做什么。另外，所收集的信息可以在其被傳輸、存儲或以其他方式由計算系統使用之前以一種或多種方式進行預處理，使得移除個人可識別信息。例如，在計算設備與另一設備共享圖像(例如，以訓練在其他設備處執行的模型)之前，計算設備可以預處理圖像以確保移除嵌入在數據中的任何用戶識別信息或設備識別信息。因此，用戶可以控制是否收集關于用戶和用戶的設備的信息，以及如果收集這些信息，計算設備和/或遠程計算系統可以如何使用這樣的信息。

在一個示例中，一種計算機實現的方法包括由計算設備的處理器接收由相機捕獲的原始圖像，由處理器將原始圖像自動地分割成像素的多個區域，以及由處理器將相應的自動白平衡獨立地應用于多個區域中的每一個。所述計算機實現的方法進一步包括：在將所述相應的自動白平衡獨立地應用于所述多個區域中的每個區域之后，由所述處理器組合所述多個區域以形成新圖像；以及由所述處理器輸出所述新圖像以便顯示。