[發明專利]一種基于多層編碼器的并行圖像描述方法有效
| 申請號： | 202010768564.5 | 申請日： | 2020-08-03 |
| 公開（公告）號： | CN111901610B | 公開（公告）日： | 2021-09-21 |
| 發明（設計）人： | 楊小寶;武君勝;何嬋;王軍;王文濤 | 申請（專利權）人： | 西北工業大學;西安郵電大學 |
| 主分類號： | H04N19/436 | 分類號： | H04N19/436;H04N19/42;G06T9/00 |
| 代理公司： | 西安銘澤知識產權代理事務所(普通合伙) 61223 | 代理人： | 耿路 |
| 地址： | 710068 *** | 國省代碼： | 陜西;61 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 多層 編碼器 并行 圖像 描述 方法 | ||
1.一種基于多層編碼器的并行圖像描述方法，其特征在于，包括以下步驟：
輸入待描述的圖像；
對圖像進行編碼處理，獲得多層特征；
對每一層特征分別進行維度變換，降低特征的維度；
將維度變換后的多層特征輸入解碼器，對多層特征進行并行解碼處理，得到相應的圖像描述；
所述多層特征采用以下方式輸入解碼器：
多層特征從低層到高層并行輸進解碼器從低層到高層的堆疊層中，或多層特征從高層到低層并行輸進解碼器從低層到高層的堆疊層中。
2.如權利要求1所述的一種基于多層編碼器的并行圖像描述方法，其特征在于，所述解碼器對多層特征進行并行解碼處理的方法如下：
把最低層特征與標準語句的序列信息輸進解碼器的第一層layer 1，生成第一層的描述；
提取第一層描述的語義送進解碼器的第二層layer 2，同時在layer 2輸入次低層的特征，生成第二層的描述；
提取第二層描述的語義送進解碼器的第三層layer 3，同時在layer 3輸入次次低層的特征，生成第三層的描述；
以此類推，直到所有層的特征均輸入到解碼器對應的堆疊層中，得到最終的圖像描述。
3.如權利要求1所述的一種基于多層編碼器的并行圖像描述方法，其特征在于，所述解碼器對多層特征進行并行解碼處理的方法如下：
把最高層特征與標準語句的序列信息輸進解碼器的第一層layer 1，生成第一層的描述；
提取第一層描述的語義送進解碼器的第二層layer 2，同時在layer 2輸入次高層的特征，生成第二層的描述；
提取第二層描述的語義送進解碼器的第三層layer 3，同時在layer 3輸入次次高層的特征，生成第三層的描述；
以此類推，直到所有層的特征均輸入到解碼器對應的堆疊層中，得到最終的圖像描述。
4.如權利要求1所述的一種基于多層編碼器的并行圖像描述方法，其特征在于，維度變換的方法為：
將每一層特征分別輸入卷積層；
對卷積層輸出的特征的維度進行變形；
對全連接層輸出的特征進行批歸一化處理；
使用激活函數對批歸一化后的特征進行映射。
5.如權利要求4所述的一種基于多層編碼器的并行圖像描述方法，其特征在于，使用的激活函數為Mish函數。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于西北工業大學;西安郵電大學，未經西北工業大學;西安郵電大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010768564.5/1.html，轉載請聲明來源鉆瓜專利網。
