[發(fā)明專利]用于生成信息的方法和裝置

有效

• 申請?zhí)枺?/td>: 201810286286.2
• 申請日: 2018-03-30
• 公開（公告）號: CN108648226B
• 公開（公告）日: 2019-10-22
• 發(fā)明（設(shè)計）人: 亢樂;包英澤
• 申請（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號: G06T7/593
• 分類號: G06T7/593;G06N3/04
• 代理公司: 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204
• 代理人: 王達(dá)佐;馬曉亞

1.一種用于生成信息的方法，包括：

獲取包括第一目標(biāo)圖像和第二目標(biāo)圖像的目標(biāo)圖像組，其中，第一目標(biāo)圖像和第二目標(biāo)圖像為雙目視覺圖像；

獲取預(yù)先訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，其中，所述神經(jīng)網(wǎng)絡(luò)包括至少兩個級聯(lián)的子網(wǎng)絡(luò)，所述至少兩個級聯(lián)的子網(wǎng)絡(luò)中的各級子網(wǎng)絡(luò)分別包括特征提取層和視差圖生成層，所述各級子網(wǎng)絡(luò)的特征提取層從首至尾依次連接，且所述各級子網(wǎng)絡(luò)的視差圖生成層從尾至首依次連接；

對于所述神經(jīng)網(wǎng)絡(luò)，執(zhí)行以下視差圖生成步驟：將目標(biāo)圖像組輸入所述至少兩個級聯(lián)的子網(wǎng)絡(luò)中首級子網(wǎng)絡(luò)的特征提取層，獲得由所述至少兩個級聯(lián)的子網(wǎng)絡(luò)中的尾級子網(wǎng)絡(luò)的特征提取層輸出的特征圖像組；將尾級子網(wǎng)絡(luò)的特征提取層輸出的特征圖像組輸入尾級子網(wǎng)絡(luò)的視差圖生成層，獲得由首級子網(wǎng)絡(luò)的視差圖生成層輸出的、用于表征所述第一目標(biāo)圖像和所述第二目標(biāo)圖像的視差的視差圖。

2.根據(jù)權(quán)利要求1所述的方法，其中，對于所述至少兩個級聯(lián)的子網(wǎng)絡(luò)中除尾級子網(wǎng)絡(luò)外的每級子網(wǎng)絡(luò)，該級子網(wǎng)絡(luò)所包括的視差圖生成層包括依次連接的形變層、相關(guān)層和反卷積層；

其中，該級子網(wǎng)絡(luò)的形變層用于將該級子網(wǎng)絡(luò)的特征提取層輸出的特征圖像組中的第一特征圖像和該級子網(wǎng)絡(luò)的下一級子網(wǎng)絡(luò)的視差圖生成層返回的視差圖作為輸入，輸出該級子網(wǎng)絡(luò)的特征提取層輸出的特征圖像組中的第二特征圖像的預(yù)測圖像；

該級子網(wǎng)絡(luò)的相關(guān)層用于將該級子網(wǎng)絡(luò)的形變層輸出的預(yù)測圖像和該級子網(wǎng)絡(luò)的特征提取層輸出的特征圖像組中的第二特征圖像作為輸入，輸出該級子網(wǎng)絡(luò)的形變層輸出的預(yù)測圖像與該級子網(wǎng)絡(luò)的特征提取層輸出的特征圖像組中的第二特征圖像的相關(guān)圖；

該級子網(wǎng)絡(luò)的反卷積層用于將該級子網(wǎng)絡(luò)的相關(guān)層輸出的相關(guān)圖和該級子網(wǎng)絡(luò)的下一級子網(wǎng)絡(luò)的視差圖生成層輸出的視差圖作為輸入，獲得由該級子網(wǎng)絡(luò)的視差圖生成層輸出的視差圖，該級子網(wǎng)絡(luò)的下一級子網(wǎng)絡(luò)為與該級子網(wǎng)絡(luò)相鄰的兩個子網(wǎng)絡(luò)中，沿尾級子網(wǎng)絡(luò)至首級子網(wǎng)絡(luò)方向用于向該級子網(wǎng)絡(luò)輸入視差圖的子網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述尾級子網(wǎng)絡(luò)的視差圖生成層包括第一視差圖生成層和第二視差圖生成層；以及

所述將尾級子網(wǎng)絡(luò)的特征提取層輸出的特征圖像組輸入尾級子網(wǎng)絡(luò)的視差圖生成層，獲得由首級子網(wǎng)絡(luò)的視差圖生成層輸出的、用于表征所述第一目標(biāo)圖像和所述第二目標(biāo)圖像的視差的視差圖，包括：

將尾級子網(wǎng)絡(luò)的特征提取層輸出的特征圖像組輸入尾級子網(wǎng)絡(luò)的視差圖生成層中的第一視差圖生成層，獲得由尾級子網(wǎng)絡(luò)的第一視差圖生成層輸出的初始視差圖；

將尾級子網(wǎng)絡(luò)的特征提取層輸出的特征圖像組和所獲得的初始視差圖輸入尾級子網(wǎng)絡(luò)的視差圖生成層中的第二視差圖生成層，獲得由首級子網(wǎng)絡(luò)的視差圖生成層輸出的、用于表征所述第一目標(biāo)圖像和所述第二目標(biāo)圖像的視差的視差圖。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述第二視差圖生成層包括依次連接的形變層、相關(guān)層和反卷積層；

所述第二視差圖生成層的形變層用于將尾級子網(wǎng)絡(luò)的特征提取層輸出的特征圖像組中的第一特征圖像和尾級子網(wǎng)絡(luò)的第一視差圖生成層輸出的初始視差圖作為輸入，輸出尾級子網(wǎng)絡(luò)的特征提取層輸出的特征圖像組中的第二特征圖像的預(yù)測圖像；

所述第二視差圖生成層的相關(guān)層用于將第二視差圖生成層的形變層輸出的預(yù)測圖像和尾級子網(wǎng)絡(luò)的特征提取層輸出的特征圖像組中的第二特征圖像作為輸入，輸出第二視差圖生成層的形變層輸出的預(yù)測圖像與尾級子網(wǎng)絡(luò)的特征提取層輸出的特征圖像組中的第二特征圖像的相關(guān)圖；

所述第二視差圖生成層的反卷積層用于將第二視差圖生成層的相關(guān)層輸出的相關(guān)圖和尾級子網(wǎng)絡(luò)的第一視差圖生成層輸出的初始視差圖作為輸入，獲得由尾級子網(wǎng)絡(luò)的視差圖生成層輸出的視差圖。

5.根據(jù)權(quán)利要求1或2所述的方法，其中，所述至少兩個級聯(lián)的子網(wǎng)絡(luò)包括六個級聯(lián)的子網(wǎng)絡(luò)。