[發明專利]使用弱監督數據自動生成圖像字幕的方法和系統

有效

• 申請號: 201610995334.6
• 申請日: 2016-11-11
• 公開（公告）號: CN106973244B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 王兆聞;尤全增;金海琳;方晨
• 申請（專利權）人: 奧多比公司
• 主分類號: H04N5/278
• 分類號: H04N5/278;H04N21/431;H04N21/488;G06N3/08;G06N3/04
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅

1.一種用于使用弱監督數據自動生成圖像字幕的方法，應用于使用一個或多個計算設備促進圖像采集管理的數字媒體環境中，所述方法包括：

獲取用于字幕分析的目標圖像；

向所述目標圖像應用特征提取以生成對應于所述圖像的全局概念；

將所述目標圖像與來自弱注釋圖像的源的圖像相比較以標識在視覺上相似的圖像，其中所述弱注釋圖像均包括按照以下至少一項的形式的弱注釋：標簽、標題、標注和短描述；

通過從所述在視覺上相似的圖像中提取用于指示圖像細節的所述目標圖像的關鍵詞來構建所述關鍵詞的集合；以及

供應指示圖像細節的所述關鍵詞的集合作為所述弱監督數據用于連同所述全局概念進行字幕生成。

2.根據權利要求1所述的方法，還包括使用所述關鍵詞的集合調制應用于語句構造的詞語權重來生成所述目標圖像的字幕。

3.根據權利要求1所述的方法，其中所述關鍵詞的集合擴展可用于所述字幕分析的候選字幕的集合以便包括根據所述弱監督數據得到的具體的對象、屬性和術語以及還包括根據所述特征提取得到的所述全局概念。

4.根據權利要求1所述的方法，其中向語言處理模型供應所述關鍵詞的集合，所述語言處理模型可操作以通過計算說明所述弱監督數據的概率分布來在概率上生成所述圖像的描述性字幕。

5.根據權利要求1所述的方法，其中向所述目標圖像應用特征提取包括使用預先訓練的卷積神經網絡CNN來使用指示所述全局概念的全局描述性術語來對所述圖像編碼。

6.根據權利要求1所述的方法，其中供應所述關鍵詞的集合包括向被設計成實現用于生成所述目標圖像的字幕的語言建模和語句構造技術的循環神經網絡RNN提供關鍵詞。

7.根據權利要求6所述的方法，其中所述RNN基于根據多個迭代中的權重因子計算的概率分布來迭代地預測用于組合作為所述目標圖像的字幕的詞語的序列。

8.根據權利要求7所述的方法，其中針對所述多個迭代中的每個迭代在所述RNN中注入所述關鍵詞的集合以調制用于預測所述序列的所述權重因子。

9.根據權利要求1所述的方法，其中字幕生成包括用于確定用于組合作為所述目標圖像的字幕的詞語的序列的多個迭代并且供應所述關鍵詞的集合包括針對所述多個迭代中的每個迭代提供相同的關鍵詞。

10.根據權利要求1所述的方法，其中構建所述關鍵詞的集合包括基于相關準則來對與所述在視覺上相似的圖像相關聯的關鍵詞評分和評級并且生成頂部評級關鍵詞的經過濾的列表。

11.根據權利要求1所述的方法，其中向所述關鍵詞的集合中的關鍵詞被分配關鍵詞權重以有效地改變被實現用于字幕生成的概率分類中的詞語概率從而有利于指示所述圖像細節的關鍵詞。

12.根據權利要求1所述的方法，其中所述弱注釋的圖像的源包括通過網絡可訪問的圖像的在線儲存庫。