[發(fā)明專利]基于內(nèi)容的圖像管理和選擇

在審

• 申請?zhí)枺?/td>: 201810902825.0
• 申請日: 2018-08-09
• 公開（公告）號: CN109388723A
• 公開（公告）日: 2019-02-26
• 發(fā)明（設(shè)計(jì)）人: 迪維亞·拉梅什;布拉德·福爾肯斯
• 申請（專利權(quán)）人: 云視公司
• 主分類號: G06F16/51
• 分類號: G06F16/51;G06F16/53;G06F16/583;G06N20/00
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 王茂華

本公開的實(shí)施例涉及基于內(nèi)容的圖像管理和選擇。包括圖像和相關(guān)聯(lián)文本兩者的、所發(fā)表的多媒體被用來訓(xùn)練神經(jīng)網(wǎng)絡(luò)或其他機(jī)器學(xué)習(xí)系統(tǒng)。神經(jīng)網(wǎng)絡(luò)被訓(xùn)練，以促進(jìn)其他圖像的標(biāo)識和選擇，用于與其他文本相關(guān)聯(lián)，并隨后在多媒體中一起發(fā)表。神經(jīng)網(wǎng)絡(luò)可選地被配置為接收文本或其表示，并生成圖像特征向量作為響應(yīng)。實(shí)施例包括經(jīng)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的使用，以選擇用于在多媒體中發(fā)表的圖像。

相關(guān)申請的交叉引用

本申請要求于2017年8月10日提交的美國臨時(shí)專利申請序列號62/543,771和于2018年7月3日提交的美國非臨時(shí)專利申請序列號16/027,156的優(yōu)先權(quán)，其公開內(nèi)容由此通過引用并入本文。

技術(shù)領(lǐng)域

本發(fā)明屬于多媒體內(nèi)容生成領(lǐng)域，并且更具體地，屬于針對經(jīng)混合的媒體內(nèi)容的圖像選擇領(lǐng)域。

背景技術(shù)

通常期望將圖像和文本組合，以產(chǎn)生用于向第三方分布的內(nèi)容。例如，多媒體內(nèi)容(諸如，博客、網(wǎng)頁、文章、廣告等)的制作者通常需要圖像來伴隨他們的文字。圖像(靜止和視頻)可從照片貯存公司獲得，諸如Getty Images公司。然而，大量圖像可以使得難以為給定項(xiàng)目選擇最合適的圖像。

發(fā)明內(nèi)容

本發(fā)明的各種實(shí)施例被配置為觀察圖像如何被第三方使用，并且訓(xùn)練機(jī)器學(xué)習(xí)系統(tǒng)，以基于這些觀察更好地搜索和選擇圖像。一旦機(jī)器學(xué)習(xí)系統(tǒng)被訓(xùn)練，來自多媒體內(nèi)容的文本樣本就可以被用來搜索可能與該文本一起被使用的圖像。該搜索可選地還基于一個(gè)或多個(gè)關(guān)鍵詞。對圖像的搜索可以基于文本的大量部分，例如整個(gè)句子、段落或更多。相對于基于簡單關(guān)鍵詞搜索的結(jié)果，這通常產(chǎn)生更好地匹配文本主題的搜索結(jié)果。第三方對圖像的使用可以包括：在博客、網(wǎng)頁、廣告、文章和/或其他多媒體內(nèi)容中的使用。

在一些實(shí)施例中，自動(dòng)化的圖像選擇系統(tǒng)被配置為分析文本，并選擇一個(gè)或多個(gè)圖像，以在包括文本和所選圖像中的至少一個(gè)圖像兩者的混合媒體內(nèi)容中發(fā)表。該選擇基于文本的處理和與圖像相關(guān)聯(lián)的屬性向量。自動(dòng)化的圖像選擇系統(tǒng)可選地包括圖像標(biāo)簽系統(tǒng)。

本發(fā)明的各種實(shí)施例包括一種圖像管理系統(tǒng)，其包括：圖像庫；圖像搜索系統(tǒng)，被配置為供第三方從圖像庫中選擇第一圖像，該圖像搜索系統(tǒng)包括神經(jīng)網(wǎng)絡(luò)；圖像分布系統(tǒng)，被配置為用于將所選擇的第一圖像遞送給第三方；跟蹤邏輯，被配置為跟蹤在多媒體內(nèi)容中所選擇的第一圖像的包含，多媒體內(nèi)容包括所選擇的第一圖像和第一文本兩者；文本提取邏輯，被配置為從多媒體內(nèi)容中提取第一文本；以及訓(xùn)練邏輯，被配置為訓(xùn)練神經(jīng)網(wǎng)絡(luò)以基于第二文本選擇第二圖像，該訓(xùn)練基于所提取的第一文本和第一圖像之間的關(guān)聯(lián)。

本發(fā)明的各種實(shí)施例包括提供圖像的方法，該方法包括：可選地向第三方提供圖像(或者備選地，在網(wǎng)頁、博客、文章、廣告等上定位將由第三方使用的圖像)；標(biāo)識被第三方關(guān)聯(lián)于圖像的文本，文本和圖像被包括在多媒體中，文本可選地包括句子、段落或更大的文本塊；可選地應(yīng)用自然語言處理器來標(biāo)識和/或表征文本的部分；使用圖像和被標(biāo)識的文本來訓(xùn)練神經(jīng)網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)被訓(xùn)練以標(biāo)識可能與文本輸入一起被使用的圖像；從外部源接收文本輸入；基于所接收到的文本輸入，使用神經(jīng)網(wǎng)絡(luò)搜索一個(gè)或多個(gè)圖像，搜索可選地進(jìn)一步包括將關(guān)鍵詞與圖像標(biāo)簽匹配；以及將搜索中所標(biāo)識的一個(gè)或多個(gè)圖像提供給外部源。

本發(fā)明的各種實(shí)施例包括用于選擇圖像的系統(tǒng)，該系統(tǒng)包括：文本解析器，被配置為標(biāo)識文本內(nèi)的標(biāo)記；文本分析邏輯，被配置為基于所標(biāo)識的標(biāo)記來標(biāo)識文本的主題；圖像搜索邏輯，被配置為使用文本的主題來搜索圖像標(biāo)簽的存儲，圖像標(biāo)簽與圖像相關(guān)聯(lián)，并且搜索被配置為標(biāo)識圖像標(biāo)簽中與文本主題匹配的那些成員；以及圖像取回邏輯，被配置為取回與所標(biāo)識的圖像標(biāo)簽的成員相關(guān)聯(lián)的一個(gè)或多個(gè)圖像。