[發明專利]基于圖像內容的自動標記生成

有效

• 申請號: 201280056443.1
• 申請日: 2012-11-16
• 公開（公告）號: CN103930901A
• 公開（公告）日: 2014-07-16
• 發明（設計）人: J.E.米蘭達-斯泰納
• 申請（專利權）人: 微軟公司
• 主分類號: G06K9/18
• 分類號: G06K9/18;G06K7/10
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 李舒;汪揚

背景技術

隨著數碼相機變得越來越普遍，以及數字存儲裝置變得越來越便宜，在用戶的收集（collection）（或庫）中的相片(“照片”)和視頻的數目也將呈指數級增加。

對那些照片進行歸類是費時的，而且讓用戶快速找出他們生活中特定時刻的圖像是一種挑戰。當前，在數碼照片的整理、保存和搜索中使用標記作為輔助。加標記涉及到給數字數據指派關鍵字的過程。然后可以按照關鍵字或‘標記’來組織數字數據。例如，數碼照片的主題可被使用來創建關鍵字，然后這些關鍵字可以作為一個或多個標記而與該數碼照片相關聯。

雖然標記可以人工地加到特定的數碼照片上以幫助照片的歸類和搜索，但當前只有幾種加到照片的自動標記。例如，大多數相機給數碼照片指派日期和時間的自動標記。另外，越來越多的相機正包括地理位置來作為照片的自動標記的一部分。最近，已經開發了軟件解決方案來提供對于照片中的人的自動識別（并且匹配于特定的身份）。

然而，用戶當前只限于通過日期、地理、人標記和人工添加的標記來查詢照片。

發明內容

提供了用于給數碼照片和視頻自動指派標記的方法。不是僅僅具有可由相機自動指派給照片的、來自提供日期、時間和地理位置的元數據的標記，而是可以從照片或視頻中自動提取附加信息，并且可以把與該附加信息相關聯的關鍵字或代碼作為標記自動指派給該照片或視頻。這個附加信息可包括不能直接從圖像和與圖像相關聯的元數據明顯地得到的信息。

例如，從圖像中可以提取關于某些條件的信息，包括但不限于天氣、地理地標、建筑地標和顯著的環境特征。在一個實施例中，照片的時間和地理位置元數據被使用來提取對于該特定的位置和時間的天氣。所述提取可以通過查詢天氣數據庫以確定對于在拍攝照片時的特定位置和時間的天氣而被執行。在另一個實施例中，照片的地理位置元數據和圖像識別被使用來提取地理和建筑地標。在再一個實施例中，圖像識別被使用來從圖像提取顯著的環境特征（包括背景、色彩、色調和亮度）和已知的物理對象，且根據所提取的特征和對象把標記自動指派給照片。

按照一個實施例，當在某個照片中識別一個或多個確定的條件時，關鍵字或對象標識符的數據庫可被提供來用作為標記。當一個特定的條件被識別時，與該特定的條件相關聯的一個或多個關鍵字或對象標識符被自動指派為對于該照片的標記。

之前與特定的照片相關聯的標記可被使用來生成附加標記。例如，日期信息可被使用來生成與該日期相關聯的帶有關鍵字的標記，諸如季節、學校學期、假期和有報道價值的事件。

在另一個實施例中，所識別的對象可以通過知名度進行排名，且該排名被反映為附加標記。另外，在辨認所識別的對象時使用的數據庫可包括各種水平的特異性（specificity）/粒度（granularity）。

本概要被提供來以簡化的形式介紹概念的選擇，這些概念還將在下面的詳細說明中進行描述。本概要既不打算確認所要求保護的主題的關鍵特征或必要特征，也不打算被使用來限制所要求保護的主題的范圍。

附圖說明

圖1圖示按照本發明的某些實施例的自動標記生成過程。

圖2圖示按照本發明的某些實施例的圖像識別過程。

圖3顯示按照本發明的某些實施例的自動標記生成過程的流程。

圖4圖示按照本發明的實施例的、用于自動標記生成過程的、通過從照片中提取建筑地標而生成標記的過程。

圖5圖示按照本發明的實施例的、用于自動標記生成過程的、通過從照片中提取地理地標而生成標記的過程。

具體實施方式

描述了用于進行與照片相關聯的一個或多個標記的自動生成的技術。自動添加標記可以發生在數碼照片（或視頻）被裝載到或以別的方式傳送到可被存儲在本地、遠端或分布式數據庫的照片集時。在其它實施例中，自動添加標記可以在用戶發起時發生，以便給現有的照片加標記。

圖像可包括但不限于在照片或視頻幀中所出現的對象、形狀和特征的視覺代表。按照某些實施例，圖像可以由數碼相機捕獲（以照片的形式或作為視頻的一部分），并且它可以以由數碼相機的圖像傳感器定義的像素的形式被實現。在一些實施例中，術語“照片圖像”在這里被用來指數碼照片的圖像，與照片所關聯的元數據或其它元素相對，并且它可以與術語“圖像”互換使用，而不背離本發明的某些實施例的范圍。術語“照片”、“圖像”和“照片圖像”的意義從它們的上下文中將容易理解。