[發明專利]光流估計異構混合網絡及其嵌入方法

有效

• 申請號: 201910904000.7
• 申請日: 2019-09-24
• 公開（公告）號: CN110599428B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 百曉;于歲寒金;王晨;劉詳龍;于洋;安冬;郝群
• 申請（專利權）人: 北京航空航天大學青島研究院;北京航空航天大學;歌爾股份有限公司;上海歌爾泰克機器人有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T9/00;G06T7/246;G06N3/0464;G06N3/0455
• 代理公司: 青島中天匯智知識產權代理有限公司 37241
• 代理人: 劉曉

1.一種光流估計異構混合網絡，其特征在于：是將編解碼網絡嵌入到coarse-to-fine網絡中而形成的；

所述的編解碼網絡，其特征匹配部分進行通道壓縮而與coarse-to-fine網絡的特征匹配部分輸出的匹配特征進行拼接；

coarse-to-fine網絡的光流估計部分的輸出反饋給編解碼網絡；

對于特征匹配部分，其輸入為兩張時間連續的圖片，輸出則是一種可以表達兩張輸入圖片間關系的特征，即匹配特征；

對于光流估計部分，其輸入是特征匹配部分輸出的匹配特征，輸出則是估計的光流。

2.如權利要求1所述光流估計異構混合網絡的嵌入方法，其特征在于：將編解碼網絡嵌入到coarse-to-fine網絡中而形成混合網絡；

嵌入方法包括有以下步驟，

1)、網絡劃分

分別將編解碼網絡、coarse-to-fine網絡分成特征匹配部分和光流估計部分，光流估計部分以特征匹配部分輸出的匹配特征為輸入估計光流；

2)、通道壓縮

對編解碼網絡的特征匹配部分各卷積層的通道數進行壓縮；在嵌入前，編解碼網絡與coarse-to-fine網絡具有相同的網絡規模；

3)、網絡嵌入

將編解碼網絡與coarse-to-fine網絡的特征匹配部分輸出的匹配特征，進行特征圖通道維度拼接，

將coarse-to-fine網絡的光流估計部分的輸出反饋給編解碼網絡；

在網絡劃分步驟中，需要將2種異構網絡進行重新劃分，即分為特征匹配部分和光流估計部分，劃分規則是基于網絡各組成部分的輸入和輸出特征的特性進行；

對于特征匹配部分，其輸入為兩張時間連續的圖片，輸出則是一種可以表達兩張輸入圖片間關系的特征，即匹配特征；

對于光流估計部分，其輸入是特征匹配部分輸出的匹配特征，輸出則是估計的光流。