[發明專利]視頻物體分割方法和裝置、電子設備、存儲介質

有效

• 申請號: 201710619408.0
• 申請日: 2017-07-26
• 公開（公告）號: CN108229290B
• 公開（公告）日: 2021-03-02
• 發明（設計）人: 李曉瀟;齊元凱;王哲;陳愷;劉子緯;石建萍;羅平;呂健勤;湯曉鷗
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06T7/10
• 代理公司: 北京思源智匯知識產權代理有限公司 11657
• 代理人: 毛麗琴

1.一種視頻物體分割方法，其特征在于，包括：

在視頻的至少部分幀中，自參考幀開始順序進行所述參考幀的物體分割結果的幀間傳遞，獲得所述至少部分幀中各其他幀的物體分割結果；

確定所述至少部分幀中相對所述參考幀的物體分割結果丟失物體的其他幀；

以確定的其他幀作為目標幀進行丟失物體的分割，以更新所述目標幀的物體分割結果；

將所述目標幀更新后的物體分割結果順序傳遞到所述視頻中的至少一其他幀。

2.根據權利要求1所述的方法，其特征在于，所述參考幀包括：所述至少部分幀中的第一幀；所述自參考幀開始順序進行所述參考幀的物體分割結果的幀間傳遞，包括：將所述第一幀的物體分割結果在所述至少部分幀中沿時序正方向進行幀間傳遞，直至所述至少部分幀中的最后一幀；或者，

所述參考幀包括：所述至少部分幀中的最后一幀；所述自參考幀開始順序進行所述參考幀的物體分割結果的幀間傳遞，包括：將所述最后一幀的物體分割結果在所述至少部分幀中沿時序反方向進行幀間傳遞，直至所述至少部分幀中的第一幀；或者，

所述參考幀包括：所述至少部分幀中位于第一幀與最后一幀之間的中間一幀；所述自參考幀開始順序進行所述參考幀的物體分割結果的幀間傳遞，包括：將所述中間一幀的物體分割結果在所述至少部分幀中分別沿時序正方向和/或時序反方向進行幀間傳遞，直至所述至少部分幀中的第一幀和/或最后一幀。

3.根據權利要求1所述的方法，其特征在于，所述自參考幀順序進行所述參考幀的物體分割結果的幀間傳遞，獲得所述至少部分幀中各其他幀的物體分割結果，包括：

根據沿所述參考幀的物體分割結果傳播方向的在先幀的圖像分割結果，確定所述傳播方向上在后幀的物體分割結果，所述傳播方向包括所述視頻的時序正方向和/或時序反方向。

4.根據權利要求3所述的方法，其特征在于，所述在先幀包括：所述在后幀在所述至少部分幀中沿時序正方向或時序反方向上的相鄰幀或相鄰關鍵幀。

5.根據權利要求3所述的方法，其特征在于，根據沿所述參考幀的物體分割結果傳播方向的在先幀的圖像分割結果，確定所述傳播方向上在后幀的物體分割結果，包括：

從所述在后幀獲取包括一物體的圖像塊；從所述在先幀的物體類別概率圖譜獲取所述物體對應物體類別的概率圖譜塊；

至少根據所述圖像塊和所述概率圖譜塊，確定所述在后幀中所述物體的物體分割結果。

6.根據權利要求5所述的方法，其特征在于，至少根據所述圖像塊和所述概率圖譜塊，確定所述在后幀中所述物體的物體分割結果，包括：

分別將所述圖像塊和所述概率圖譜塊放大至預設尺寸；

根據分別放大后的所述圖像塊和所述概率圖譜塊，獲取所述在后幀中所述物體在所述預設尺寸下的物體分割結果；

根據所述圖像塊和所述概率圖譜塊的放大比例，將所述物體在所述預設尺寸下的物體分割結果恢復為原始尺寸下的物體分割結果。

7.根據權利要求5所述的方法，其特征在于，還包括：根據所述在先幀與所述在后幀之間的光流圖獲取所述物體對應的光流圖塊；

所述至少根據所述圖像塊和所述概率圖譜塊，確定所述在后幀中所述物體的物體分割結果，包括：根據所述圖像塊、所述概率圖譜塊和所述光流圖塊，獲取所述在后幀中所述物體的物體分割結果。

8.根據權利要求7所述的方法，其特征在于，根據所述圖像塊、所述概率圖譜塊和所述光流圖塊，確定所述在后幀中所述物體的物體分割結果，包括：

根據所述圖像塊和所述概率圖譜塊，獲取所述在后幀中所述物體的第一物體分割結果；以及根據所述概率圖譜塊和所述光流圖塊，獲取所述在后幀中所述物體的第二物體分割結果；

根據所述第一物體分割結果和所述第二物體分割結果，獲取所述在后幀中所述物體的物體分割結果。