[發明專利]利用神經網絡進行目標分割的方法、設備和介質

在審

• 申請號: 202110097767.0
• 申請日: 2021-01-25
• 公開（公告）號: CN112749707A
• 公開（公告）日: 2021-05-04
• 發明（設計）人: 伍天意;郭國棟;朱歟
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市漢坤律師事務所 11602
• 代理人: 姜浩然;吳麗麗

1.一種神經網絡，所述神經網絡被配置用于接收當前圖像、在先圖像和所述在先圖像的目標分割結果以預測所述當前圖像的目標分割結果，所述目標分割結果用于指示對應的圖像中的每一個像素的類別，所述神經網絡包括：

第一子網絡，所述第一子網絡被配置為接收所述在先圖像以生成所述在先圖像的在先特征圖；

所述第一子網絡之后的第二子網絡，所述第二子網絡被配置為接收所述在先圖像的在先特征圖和所述在先圖像的目標分割結果以生成所述在先圖像的至少一組模板特征；

與所述第一子網絡并列的第三子網絡，所述第三子網絡被配置為接收所述當前圖像以生成所述當前圖像的當前特征圖；

所述第二子網絡和所述第三子網絡之后的第四子網絡，所述第四子網絡被配置為接收所述當前特征圖和所述在先圖像的至少一組模板特征，以生成空時信息特征圖；以及

所述第四子網絡之后的第五子網絡，所述第五子網絡被配置為接收所述空時信息特征圖以生成所述當前圖像的預測目標分割結果。

2.如權利要求1所述的神經網絡，其中，所述每一個像素的類別能夠表征該像素是否屬于所述在先圖像所包括的至少一個目標中的一個目標。

3.如權利要求1所述的神經網絡，還包括：

第六子網絡，所述第六子網絡位于所述第四子網絡與所述第五子網絡之間，并被配置為接收所述空時信息特征圖和所述在先圖像的目標分割結果，以生成待處理特征圖；以及

所述第五子網絡被配置為接收所述待處理特征圖以輸出所述當前圖像的預測目標分割結果。

4.如權利要求2所述的神經網絡，其中，所述在先圖像的至少一組模板特征與所述在先圖像所包括的至少一個目標一一對應，并且其中，所述在先圖像的至少一組模板特征中的每一組模板特征包括一個或多個模板特征。

5.如權利要求4所述的神經網絡，其中，所述在先圖像的至少一組模板特征中的每一組模板特征為對與該組模板特征對應的目標映射在所述特征圖中的區域執行聚類算法而得到的。

6.如權利要求3所述的神經網絡，所述第六子網絡包括：

第一拼接層，被配置為接收所述空時信息特征圖和所述在先圖像的目標分割結果，并將所述空時信息特征圖和該目標分割結果拼接為第一空間約束特征圖；

所述第一拼接層之后的至少一個卷積層，被配置為接收所述第一空間約束特征圖以生成第二空間約束特征圖；以及

所述至少一個卷積層之后的點乘層，被配置為接收所述空時信息特征圖和所述第二空間約束特征圖，并將所述空時信息特征圖和所述第二空間約束特征圖進行點乘以生成所述待處理特征圖。

7.如權利要求1所述的神經網絡，其中，所述第四子網絡包括：

相似度計算層，被配置為接收所述當前特征圖和所述在先圖像的至少一組模板特征，以生成所述當前特征圖和所述在先圖像中的至少一組模板特征的相似度計算結果；

所述相似度計算層之后的矩陣乘法層，被配置為接收所述相似度計算結果和所述在先圖像的至少一組模板特征，以生成空時匹配特征圖；以及

所述矩陣乘法層之后的第二拼接層，被配置為接收所述當前特征圖和所述空時匹配特征圖，并將所述當前特征圖和所述空時匹配特征圖拼接為所述空時信息特征圖。

8.如權利要求1所述的神經網絡，其中，所述在先圖像和所述當前圖像為同一個視頻中的不同視頻幀，其中，所述在先圖像的拍攝時間早于所述當前圖像。