[發明專利]利用深度網絡對個人照片加標簽

在審

• 申請號: 201580056088.1
• 申請日: 2015-10-07
• 公開（公告）號: CN107077487A
• 公開（公告）日: 2017-08-18
• 發明（設計）人: 梅濤;傅建龍;楊奎元;芮勇
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市金杜律師事務所11256
• 代理人: 王茂華

背景技術

當相機已經變成便攜式數字設備的重要部分并且擁有便攜式數字設備的用戶的數量已經繼續以前所未有的速率增長時，個人照片的數量空前的高。管理這樣的數量不斷增長的照片的基本挑戰之一是在那些照片上具有合適的標簽。通常，用戶可以手動地審查每個圖像并將一個或多個關鍵字或標簽添加到每個照片。標簽可以識別圖片的位置、圖片被拍攝的事件等。然而，人們一般不情愿花時間來對他們的照片加標簽。一些自動加標簽技術已經出現，但是存在對用于更好地對個人照片加標簽的自動加標簽的解決方案的需要。

發明內容

本公開內容描述了用于向個人照片提供標簽的系統和方法。在至少一個示例中，使用堆疊(stacked)的卷積自動編碼器和連接的頂層，使用加標簽的源圖像、目標圖像以及個人照片本體，來訓練深度網絡。深度網絡可以被用于對概念進行評分，概念可以被用于對個人照片加標簽。本文中描述的技術還可以至少部分地基于所評分的概念來對個人照片加標簽。在一些實現方式中，評分還可以基于與個人照片相關聯的元數據來得到。

提供本發明內容以便以簡化的形式介紹下面在具體實施方式中進一步描述的概念選擇。本發明內容不旨在識別要求保護的主題的關鍵或必要特征，也不旨在用作確定要求保護的主題的范圍的輔助。術語“技術”例如可以是指如由以上描述的上下文允許的和貫穿本文檔的系統、方法、計算機可讀指令、模塊、算法、硬件邏輯和/或操作。

附圖說明

參考附圖描述具體實施方式。在附圖中，附圖標記的最左邊的(一個或多個)數字識別該附圖標記首次出現的附圖。相同的附圖標記在不同的附圖中指示相似或相同的項。

圖1是描繪如本文中描述的用于實現個人照片加標簽的示例環境的框圖。

圖2是描繪分布式計算資源的示例計算設備的框圖。

圖3是描繪可以執行個人照片加標簽的示例處理架構的框圖。

圖4是可以被用于對個人照片加標簽的示例本體的框圖。

具體實施方式

概述

本文中描述的示例提供使用包括例如處理單元和加速器的資源來對數字圖像加標簽的技術和構造。這樣的資源可以使用專門的編程和/或利用特定指令編程的硬件來實現，以實現指定功能。例如，資源可以具有不同的執行模型，對于圖形處理單元(GPU)和計算機處理單元(CPU)就是這種情況。

前所未有的數量的人們現在擁有被裝備具有相機的個人數字設備。結果，那些人們正在拍攝越來越多的數字照片。盡管那些照片一般具有元數據(包括時間戳)，但是在數字個人照片中進行組織和/或搜索是困難的。若干應用允許用戶將標簽與他們的照片相關聯，但是用戶一般不情愿花費時間來對他們的照片加標簽。最近，已經開發了一些自動加標簽方案。一些這樣的方案已經是基于模型的和一些無模型的。一般地，基于模型的方法嚴重地依賴利用機器學習算法的預訓練的分類器，而無模型方法將標簽傳播通過視覺鄰居的加標簽行為。然而，兩種方法都假設具有與目標域相同的或至少相似的數據分布的良好標記的數據集的可用性，因此良好標記的數據集可以確保用于訓練和傳播兩者的良好的泛化能力。傳統方案可以通過從商業圖像搜索引擎爬取頂部排名的圖像來收集帶標記的數據集。然而，個人照片可能不會良好地映射到商業圖像。個人照片的語義分布僅僅是Web圖像的總體詞匯的子集。例如，社會名流的個人姓名和非常具體的項不太可能出現在個人照片中。此外，個人照片中的語義分布可以偏向較少的概念。另外，個人照片一般是較低質量的，并且可以包括比被拍攝以傳達單個對象的商業照片更多的對象。

本文中描述的系統可以向個人照片提供一個或多個標簽。本文中描述的技術可以使用深度學習技術，來從原圖像像素和/或從高級本體先驗中發現中級特征抽象。這些技術可以用于對單個照片加標簽，或者可以用于對一組照片加標簽。

在各種示例中，用于對個人照片加標簽的算法可以通過設計例如針對個人照片的特定域本體來確定。所描述的技術可以使用來自具有加標簽的照片的源域的圖像和來自具有未加標簽的個人照片的目標域的圖像，從而以自底向上的轉移來訓練深度網絡。這些技術可以之后對網絡進行精細調諧。在一些實施例中，架構可以使用本體以自頂向下的轉移來訓練深度網絡的頂層。

一旦被訓練，深度網絡可以被用于在個人照片上應用來自本體的標簽。網絡可以考慮單個個人照片，或者多個照片可以被批處理。在一些實現方式中，通過批處理，應用深度網絡對照片加標簽還可以考慮來自照片的元數據。例如，時間或位置數據可以在一次考慮多于一個照片時應用標簽中是有意義的。