[發(fā)明專利]利用深度網(wǎng)絡(luò)對個人照片加標(biāo)簽

在審

• 申請?zhí)枺?/td>: 201580056088.1
• 申請日: 2015-10-07
• 公開（公告）號: CN107077487A
• 公開（公告）日: 2017-08-18
• 發(fā)明（設(shè)計）人: 梅濤;傅建龍;楊奎元;芮勇
• 申請（專利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市金杜律師事務(wù)所11256
• 代理人: 王茂華

1.一種方法，包括：

提供針對個人數(shù)字圖像的本體，所述本體包括層次結(jié)構(gòu)，所述層次結(jié)構(gòu)包含多個概念，所述多個概念被分組成所述層次結(jié)構(gòu)的多個節(jié)點，所述多個概念中的每個概念包括用于與一個或多個個人數(shù)字圖像相關(guān)聯(lián)的文本描述符；

提供來自源域的多個源數(shù)字圖像，所述源數(shù)字圖像中的每個源數(shù)字圖像具有至少一個關(guān)聯(lián)的文本描述符；

提供來自目標(biāo)域的多個目標(biāo)數(shù)字圖像；

在計算設(shè)備上使用所述源數(shù)字圖像、所述目標(biāo)數(shù)字圖像以及所述本體來訓(xùn)練深度網(wǎng)絡(luò)；

在所述計算設(shè)備處接收一個或多個個人數(shù)字圖像；

使用所述計算設(shè)備將所述深度網(wǎng)絡(luò)應(yīng)用到所述一個或多個個人數(shù)字圖像，以確定所述概念中的、用于與所述一個或多個個人數(shù)字圖像中的每個個人數(shù)字圖像相關(guān)聯(lián)的一個或多個概念；以及

將所述概念中的所述一個或多個概念中的至少一個概念與所述一個或多個個人數(shù)字圖像中的每個個人數(shù)字圖像相關(guān)聯(lián)。

2.根據(jù)權(quán)利要求1所述的方法，其中訓(xùn)練所述深度網(wǎng)絡(luò)包括：在所述源數(shù)字圖像和所述目標(biāo)數(shù)字圖像上訓(xùn)練多個卷積自動編碼器，以確定深度特征抽象。

3.根據(jù)權(quán)利要求1或2所述的方法，還包括使用所述本體來對所述深度特征抽象進行精細(xì)調(diào)諧以獲得經(jīng)精細(xì)調(diào)諧的深度特征抽象，并且其中應(yīng)用所述深度網(wǎng)絡(luò)包括：將所述經(jīng)精細(xì)調(diào)諧的深度特征抽象應(yīng)用到所述個人數(shù)字圖像中的所述一個或多個個人數(shù)字圖像。

4.根據(jù)權(quán)利要求1-3中的任一項所述的方法，還包括通過以下來創(chuàng)建針對個人數(shù)字圖像的所述本體：

識別所述多個概念；

將所述多個概念分組成多個種類，所述多個種類中的每個種類包括所述多個概念中的一個或多個概念；以及

將每個概念與概念文本表達相關(guān)聯(lián)，以識別在源域中存儲的圖像中的概念，所述概念文本表達與在所述源域中使用的源文本表達匹配。

5.根據(jù)權(quán)利要求1-4中的任一項所述的方法，其中將所述深度網(wǎng)絡(luò)應(yīng)用到所述個人數(shù)字圖像中的一個或多個個人數(shù)字圖像包括：考慮所述個人數(shù)字圖像中的所述一個或多個個人數(shù)字圖像的屬性，以分配所述一個或多個概念。

6.一種設(shè)備，包括：

一個或多個計算機可讀介質(zhì)，其上具有多個模塊、源圖像儲存庫、目標(biāo)圖像儲存庫以及本體儲存庫；

處理單元，其可操作地耦合到所述計算機可讀介質(zhì)，所述處理單元適于執(zhí)行包括以下的所述多個模塊中的模塊：

卷積自動編碼器訓(xùn)練模塊，其用于使用來自所述源圖像儲存庫的源圖像和來自所述目標(biāo)圖像儲存庫的目標(biāo)圖像，來訓(xùn)練包括深度網(wǎng)絡(luò)的一個或多個卷積自動編碼器；

頂級訓(xùn)練模塊，其用于使用來自所述本體儲存庫的本體來訓(xùn)練所述深度網(wǎng)絡(luò)的頂級；

評分模塊，其用于針對多個圖像中的個體圖像，使用所述深度網(wǎng)絡(luò)和與所述多個圖像相關(guān)聯(lián)的元數(shù)據(jù)，來確定針對所述本體中的多個概念中的每個概念的置信評分；以及

加標(biāo)簽?zāi)K，其用于至少部分地基于所述置信評分來選擇所述多個概念中的一個或多個概念，以用于對所述多個圖像中的每個圖像加標(biāo)簽。

7.根據(jù)權(quán)利要求6所述的設(shè)備，其中訓(xùn)練所述一個或多個卷積自動編碼器包括：從所述源圖像和所述目標(biāo)圖像的原像素中發(fā)現(xiàn)共享的深度特征抽象。

8.根據(jù)權(quán)利要求6或7所述的設(shè)備，還包括精細(xì)調(diào)諧模塊，所述精細(xì)調(diào)諧模塊用于使用所述源圖像以監(jiān)督式方式對所述共享的深度特征抽象進行精細(xì)調(diào)諧。

9.根據(jù)權(quán)利要求6-8中的任一項所述的設(shè)備，其中所述卷積自動編碼器包括多個卷積自動編碼器的堆疊。

10.根據(jù)權(quán)利要求6-9中的任一項所述的設(shè)備，其中所述頂級是完全連接的頂層。

11.根據(jù)權(quán)利要求6-10中的任一項所述的設(shè)備，其中所述加標(biāo)簽?zāi)K選擇與高于閾值評分的置信評分相對應(yīng)的概念、或與預(yù)定數(shù)量的最高置信評分相對應(yīng)的概念，以用于對所述多個圖像中的每個圖像加標(biāo)簽。