日韩在线一区二区三区,日本午夜一区二区三区,国产伦精品一区二区三区四区视频,欧美日韩在线观看视频一区二区三区 ,一区二区视频在线,国产精品18久久久久久首页狼,日本天堂在线观看视频,综合av一区

[發明專利]一種基于生成對抗網絡的圖像描述文本生成方法有效

專利信息
申請號: 202110206288.8 申請日: 2021-02-24
公開(公告)號: CN112818159B 公開(公告)日: 2022-10-18
發明(設計)人: 陸佳妮;程帆 申請(專利權)人: 上海交通大學
主分類號: G06F16/583 分類號: G06F16/583;G06F40/126;G06F40/194;G06F40/242;G06N3/04;G06N3/08
代理公司: 上海科盛知識產權代理有限公司 31225 代理人: 楊宏泰
地址: 200240 *** 國省代碼: 上海;31
權利要求書: 查看更多 說明書: 查看更多
摘要:
搜索關鍵詞: 一種 基于 生成 對抗 網絡 圖像 描述 文本 方法
【權利要求書】:

1.一種基于生成對抗網絡的圖像描述文本生成方法,其特征在于,包括以下步驟:

1)構建用以實現對圖像進行特征提取的編碼器,所述的編碼器為基于ResNet-101的Faster R-CNN模型,對于給定的一張圖像,編碼器從該圖像中檢測到的n個物體,將圖像編碼為n個目標區域的特征集合V={v1,…vi…,vn},其中,vi為目標選區i經過平均池化層后的特征向量;

2)對文本進行詞嵌入,并構建用以生成圖像描述文本的解碼器,解碼器由一個雙層的長短期記憶神經網絡模型和兩個注意力模塊組成,具體包括作為第一層的注意力生成LSTM層、作為第二層的語言生成LSTM層以及設置在注意力生成LSTM層與語言生成LSTM層之間的兩個用以生成視覺哨兵向量的自適應注意力模塊,

所述的注意力生成LSTM層的輸入向量包括圖像I的特征表示輸入詞wt的詞嵌入表示WeΠt以及語言生成LSTM層在t-1步的隱藏層狀態圖像I的特征表示為編碼器輸出的特征集合V中元素的均值,輸入詞wt的詞嵌入表示WeΠt為GloVe的模型在詞典Σ上的詞嵌入矩陣We和輸入詞wt的獨熱編碼Πt的乘積WeΠt,則有在第t步時,注意力生成LSTM層的隱藏層狀態更新公式為輸出為第一視覺哨兵向量第二視覺哨兵向量以及注意力生成LSTM層在第t步的隱藏層狀態

所述的自適應注意力模塊包括用以生成語境向量ct的第一自適應注意力模塊以及用以生成目標區域集合轉移信號δt的第二自適應注意力模塊,所述的第一自適應注意力模塊以第一視覺哨兵向量和特征集合為輸入,所述的第二自適應注意力模塊以第二視覺哨兵向量和特征集合為輸入,所述的特征集合vt為目標區域集合rt的特征集合,目標區域集合rt為集合R={r1,…,rN}中的指針在第t步指向的元素,指針由目標區域集合轉移信號δt控制,則目標區域集合rt的表達式為:

其中,k為解碼器的步數,第0步的目標區域集合轉移信號δ0默認值為0,N為集合R的大小,即包含目標區域集合ri的個數;

第一視覺哨兵向量由注意力生成LSTM層根據輸入向量前一步的隱藏層狀態以及此刻內部的存儲單元狀態計算得到,則有:

其中,Wic和Whc為模型需要學習的參數,⊙表示元素乘積,σ(·)表示Sigmoid函數,αt為在特征集合vt上的注意力權重分布,則有:

其中,為一個行向量,其與Wsr、Wsc、Wg均為模型需要學習的參數,是元素值全為1的向量,k為目標區域集合rt中目標區域的數量,語境向量ct表示此時模型應該關注的區域的特征表示,作為語言生成LSTM層的輸入之一;

第二自適應注意力模塊的輸入為特征集合vt以及注意力生成LSTM層輸出的視覺哨兵向量則有:

其中,W和W為模型需要學習的權重參數,從一個目標區域集合轉移到另一個目標區域集合(δt=1)的概率被定義為在視覺哨兵向量和目標區域集合rt上注意到的概率,則有:

其中,為向量中的第i個元素,W*為模型需要學習的權重參數;

所述的語言生成LSTM層以注意力生成LSTM層當前的隱藏層狀態和語境向量ct為輸入,輸出為生成詞yt的概率分布,語言生成LSTM層在第t步的隱藏層狀態更新為:

則語言生成LSTM層輸出詞yt的概率分布為:

其中,y1:t-1表示y1,…,yt-1,Wo為模型需要學習的權重參數;

3)根據極大似然估計對由編碼器和解碼器共同構成的生成器進行預訓練,采用計劃采樣的方法對生成器進行預訓練,在訓練過程中,生成器的預訓練目標為最小化損失函數,生成器的損失函數LG(θ)由預測出的生成詞yt與真實的詞之間的交叉熵損失Lw(θ)以及預測出的目標區域集合轉移信號δi與真實值之間的交叉熵損失Lδ(θ)這兩部分構成,則有:

LG(θ)=λwLw(θ)+λδLδ(θ)

其中,λw、λδ為權重取值;

4)構建基于卷積神經網絡的判別器并進行訓練,以生成器生成的文本、真實的文本以及真實的圖像的拼接向量作為判別器的輸入,并引入高速網絡提升性能具體為:

所述的判別器基于卷積神經網絡,輸入為圖像I的特征表示和完整的描述語句{w1,…,wT}的詞嵌入的拼接ε,則有:

其中,為水平拼接操作,為編碼器輸出的特征集合V中元素的均值,為普通的詞嵌入矩陣,Πi為輸入詞wi的獨熱編碼,采用大小為d×l的卷積核后得到特征向量c=[c1,c2,…,cT-l+2],其中ci=ReLU(κ*εi:i+l-1+b),使用基于時間的最大池化層得到在最終的全連接層前加入高速網絡結構,則有:

其中,WT、WH為高速網絡的權重,bT、bH為高速網絡的偏差,⊙為分段乘積操作,最終,使用一個全連接層和Sigmoid操作得到概率值p,表示給定圖像I的情況下,一段話是正確文本的概率p,則有:

其中,Wo和bo分別為輸出層的權重和方差;

5)共同訓練生成器與判別器,具體包括以下步驟:

51)根據訓練集中給出的圖像I以及預訓練后的生成器Gθ生成的文本y1:T構成圖像文本對{(I,y1:T)};

52)采用預訓練后的判別器Dφ對生成的文本進行評分,并采用評分p∈[0,1]表示這些文本是真實文本的概率;

53)通過客觀指標評價模塊得到對生成的文本的評分s,所述的客觀指標評價模塊采用CIDEr-D作為客觀評價指標;

54)結合評分p和評分s給出獎勵值r=λ·p+(1-λ)·s,λ為可調的超參數;

55)采用REINFORCE強化學習算法更新生成器的參數θ,并采用獎勵值r作為收益,基線算法選擇用貪婪算法生成的文本序列,具體為:

解碼器根據當前模型的參數θ,與圖像特征、當前的文本特征、區域集合交互,生成下一個詞,采用步驟54)的獎勵值r作為收益,記作rC(·),強化學習優化的目標為最小化負的收益函數的期望,梯度函數為:

其中,為抽樣出的一個樣本,用于近似y1:T,為抽樣出的一個樣本,用于近似δ1:T,基線收益函數b選擇的是貪婪算法生成的文本序列的收益

56)根據訓練集中給出的圖像I,更新參數后的生成器Gθ重新生成文本y1:T

57)根據訓練集中給出的圖像I,判別器的損失函數考慮三類文本,即與圖像I相關的正確真實文本生成器生成的文本y1:T以及與I無關的錯誤真實文本更新判別器的參數φ,判別器參數更新時的損失函數為:

58)返回步驟51),繼續下一次生成對抗網絡的過程,直到生成器和判別器收斂;

6)將待生成描述文本的測試圖像數據輸入訓練好的生成器中,輸出生成的描述文本。

下載完整專利技術內容需要扣除積分,VIP會員可以免費下載。

該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于上海交通大學,未經上海交通大學許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服

本文鏈接:http://www.szxzyx.cn/pat/books/202110206288.8/1.html,轉載請聲明來源鉆瓜專利網。

×

專利文獻下載

說明:

1、專利原文基于中國國家知識產權局專利說明書;

2、支持發明專利 、實用新型專利、外觀設計專利(升級中);

3、專利數據每周兩次同步更新,支持Adobe PDF格式;

4、內容包括專利技術的結構示意圖流程工藝圖技術構造圖

5、已全新升級為極速版,下載速度顯著提升!歡迎使用!

請您登陸后,進行下載,點擊【登陸】 【注冊】

關于我們 尋求報道 投稿須知 廣告合作 版權聲明 網站地圖 友情鏈接 企業標識 聯系我們

鉆瓜專利網在線咨詢

周一至周五 9:00-18:00

咨詢在線客服咨詢在線客服
tel code back_top
主站蜘蛛池模板: 午夜码电影| 国产69精品久久久久777糖心| 国内偷拍一区| 国产一区2| 一级女性全黄久久生活片免费| 久久国产中文字幕| 福利片一区二区三区| 日韩欧美国产精品一区| 欧美大片一区二区三区| 狠狠色狠狠色综合久久第一次| 香港三日本三级三级三级| 片毛片免费看| 99久久精品国| 天干天干天啪啪夜爽爽99| 国产视频二区| 欧洲在线一区二区| 色噜噜狠狠色综合中文字幕| 国产精品伦一区二区三区在线观看 | 久久久精品a| 亚洲精品www久久久| 中文字幕另类日韩欧美亚洲嫩草| 亚洲国产精品国自产拍av| 色婷婷精品久久二区二区蜜臂av| 日韩av一二三四区| 欧美日韩精品影院| 国产精品日韩电影| 99国产精品99久久久久| 国内偷拍一区| 92久久精品| 午夜av免费看| 欧美精品一区二区性色| 国产三级在线视频一区二区三区| 99精品黄色| 99国产伦精品一区二区三区| 国产一级二级在线| 91高清一区| 国产一二区在线观看| 欧美一区二区三区久久久| 精品视频久| 亚洲国产一区二区久久久777| 欧美日韩亚洲三区| 一区二区三区在线影院| 午夜毛片电影| 国产精品美女久久久免费| 亚洲精品www久久久| 亚洲一区二区福利视频| 超碰97国产精品人人cao| 欧美一级久久精品| 美女啪啪网站又黄又免费| 大bbw大bbw巨大bbw看看| 精品午夜电影| 久久国产这里只有精品| 国产日韩一二三区| 精品国产18久久久久久依依影院| 日韩av在线中文| 免费a一毛片| 国产97在线播放| 97欧美精品| 欧美在线观看视频一区二区 | 欧美精品一区二区三区四区在线 | 99色精品视频| 玖玖爱国产精品| 日韩亚洲欧美一区| 国产日本一区二区三区| 国产91一区| 久久午夜鲁丝片午夜精品| 91精品夜夜| 免费看农村bbwbbw高潮| 丰满岳乱妇bd在线观看k8| 一区二区不卡在线| 午夜三级电影院| 精品美女一区二区三区| 色婷婷综合久久久中文一区二区| 中文在线一区| 欧美大成色www永久网站婷| 国产一区二区免费电影| 91精品美女| 综合久久一区| 午夜剧场a级片| 国产精欧美一区二区三区久久| 国内视频一区二区三区| 国产精品一区二区在线观看 | 精品在线观看一区二区| 国偷自产中文字幕亚洲手机在线| 99久久国产综合精品麻豆| 日韩夜精品精品免费观看| 国产精品香蕉在线的人| 欧美日韩三区| 狠狠色噜噜综合社区| 欧美乱偷一区二区三区在线| 2023国产精品自产拍在线观看| 午夜影院一级片| 日韩精品中文字幕一区二区三区| 一区二区不卡在线| 国模一区二区三区白浆| 日本一二三区电影| 夜夜爽av福利精品导航| 欧美乱码精品一区二区| 国产精品视频免费一区二区| 亚洲一卡二卡在线| 99久久精品国| 精品国产伦一区二区三区| 国产精品偷伦一区二区| 国产无遮挡又黄又爽免费网站| 538在线一区二区精品国产| 国产二区免费| 欧美高清性xxxx| 日韩三区三区一区区欧69国产 | 91免费视频国产| 久久99久国产精品黄毛片入口 | 亚洲精华国产欧美| 国产精品久久久麻豆| 国产精品一区二区人人爽| 狠狠色综合久久婷婷色天使| 国产欧美一区二区三区精品观看| 国产精品理人伦一区二区三区| 狠狠躁夜夜躁| 国产乱人伦精品一区二区三区| 91一区在线观看| 国产偷久久一区精品69| 国产高清一区二区在线观看| 久久er精品视频| 国产精品无码专区在线观看 | 日本三级香港三级| 99久国产| 久久国产精彩视频| 日韩久久精品一区二区三区| 91精品久| 国产精品九九九九九九九| 亚洲午夜精品一区二区三区| 国产99视频精品免费视频7| 好吊妞国产欧美日韩软件大全| 日本精品一区视频| 国产欧美日韩在线观看| 野花国产精品入口| 日本一区欧美| 国产日韩欧美在线一区| 亚洲国产欧美国产综合一区| 国内精品久久久久久久星辰影视| 色噜噜日韩精品欧美一区二区| 国产乱人伦偷精品视频免下载| 国产精品视频久久久久久久| 国产一区二三| 日韩一级片免费观看| 国产天堂第一区| 猛男大粗猛爽h男人味| 三上悠亚亚洲精品一区二区| 精品久久久久久中文字幕| 国产日韩欧美一区二区在线播放| 91一区二区三区久久国产乱 | 国产精品久久久麻豆| 久爱视频精品| 国产免费第一区| 欧美激情视频一区二区三区| 国产999在线观看| 精品福利一区| 国产伦精品一区二| 国产在线观看免费麻豆| 九色国产精品入口| 国产免费一区二区三区四区| 亚洲精品国产精品国产| 久草精品一区| 高清国产一区二区| 久久艹亚洲| 又黄又爽又刺激久久久久亚洲精品| 浪潮av网站| 91麻豆精品国产91久久久久推荐资源 | 色吊丝av中文字幕| 一区二区国产盗摄色噜噜| 色综合欧美亚洲国产| 欧美视频1区| 欧美精品久| 香蕉av一区二区| 久久久久亚洲| 国产99视频精品免视看芒果| 亚洲欧美国产中文字幕| 久久九九国产精品| 欧美性猛交xxxxxⅹxx88| 久久99久国产精品黄毛片入口| 国产精品96久久久| 鲁丝一区二区三区免费观看| 国产69精品久久久久999天美| 亚洲国产精品网站| 亚洲精品一区二区三区98年| 久久激情综合网| 久久久精品a| 99国产精品免费| 99久久精品国产国产毛片小说| free×性护士vidos欧美| 国产精品不卡在线| 国产91九色视频| 欧美在线视频精品| 久久一二区| 亚洲高清毛片一区二区| 国产免费观看一区| 久久精品亚洲精品| 国产淫片免费看| 日韩中文字幕区一区有砖一区| 久久一区二| 国产在线观看免费麻豆| 国产一级自拍片| 国产欧美亚洲精品| 久久久一区二区精品| 又黄又爽又刺激久久久久亚洲精品| 911久久香蕉国产线看观看| 国产精品欧美久久| 激情久久一区二区三区| 人人澡超碰碰97碰碰碰| 亚洲四区在线| 亚洲免费永久精品国产| 国产男女乱淫真高清视频免费| 精品久久久久久中文字幕大豆网 | 亚洲精品乱码久久久久久高潮| 97人人揉人人捏人人添| 91麻豆精品国产91久久| 17c国产精品一区二区| 午夜电影院理论片做爰| 亚洲国产精品97久久无色| 影音先锋久久久| 亚洲码在线| 亚洲欧美日韩在线| 99久久国产综合精品女不卡| 久久一区二区视频| sb少妇高潮二区久久久久| 亚洲精品中文字幕乱码三区91| 日韩精品一区二区三区免费观看| 欧美片一区二区| 欧美一区二区三区三州| 色噜噜日韩精品欧美一区二区| 国产清纯白嫩初高生在线播放性色| 激情欧美日韩| 96国产精品| 午夜a电影| 日韩av在线影院| 国产精品九九九九九九九| 美女直播一区二区三区| 特高潮videossexhd| 国产欧美一区二区三区免费看 | 久久精品一区二区三区电影| 国产精品日韩精品欧美精品| 日韩不卡毛片| 视频二区狠狠色视频| 欧洲另类类一二三四区| 日本精品一二区| 日韩欧美视频一区二区| 国产精品女同一区二区免费站|