[發明專利]基于全景分割多目標追蹤的視頻全量分割計數方法

在審

• 申請號: 202110302708.2
• 申請日: 2021-03-22
• 公開（公告）號: CN113012192A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 陳智斌;余彰恒;牛潞東
• 申請（專利權）人: 河海大學
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06T7/90;G06T7/73
• 代理公司: 南京千語知識產權代理事務所(普通合伙) 32394
• 代理人: 尚于杰;祁文彥

1.基于全景分割多目標追蹤的視頻全量分割計數方法，其特征在于，包括如下步驟：

步驟1，對于每一幀視頻畫面進行語義分割；對視頻的每一幀原始畫面，分別使用deeplabv3語義分割得到圖片中每一個像素點對應的物體類別，通過事先設定好每一類物體的顏色為每一個像素點上色，從而可視化語義分割的結果；

步驟2，對于每一幀視頻畫面，使用DetectoRS進行實例分割；DetectoRS將分析得到當前幀中的每一個實例所包含的像素點，并在其外標上邊界框；

步驟3，使用deepsort進行目標追蹤，deepsort目標追蹤分為兩部分：分割器與追蹤器；將步驟1得到的實例分割信息作為此步驟中目標追蹤追蹤器的輸入，追蹤器提取分割器即步驟2的實例分割信息，以此作為追蹤器在當前幀的輸入，追蹤器預測當前幀中追蹤目標的位置，并與實際信息對比更新追蹤器；

步驟4，deepsort的追蹤器通過關聯不同幀中的同一物體實現對物體的計數，獲取追蹤器記錄的信息，即可得到該段視頻中出現的每一實例的信息，并完成對每一類物體數量的統計。

2.根據權利要求1所述基于全景分割多目標追蹤的視頻全量分割計數方法，其特征在于，所述步驟1具體過程為：

對視頻的每一幀畫面分別使用deeplabv3語義分割得到圖片中每一個像素點所屬的類，根據事先設定好的每一類對應的顏色，為每一個像素點上色，其中對于某些視為實例而非背景的類，顏色設定為同種顏色且為淺色，便于后續將實例分割的結果覆蓋在該步驟生成的語義分割結果圖上。

3.根據權利要求2所述基于全景分割多目標追蹤的視頻全量分割計數方法，其特征在于，所述步驟2具體過程為：對視頻的每一幀原始畫面，使用DetectoRS實例分割得到圖片中每一個實例所包含的像素點，每個實例隨機使用一種不同的顏色標注在步驟1中的語義分割結果圖上，并對每一個實例，得到將像素點包含在內的外接矩形，作為該實例的邊界框，一同標注在語義分割結果圖上。

4.根據權利要求3所述基于全景分割多目標追蹤的視頻全量分割計數方法，其特征在于，所述步驟3的具體過程為：

步驟3.1，提取步驟2得到的實例分割信息；具體為：對每一個實例，根據其邊界框在原圖上進行裁剪，將裁剪得到的小圖中該實例包含的像素點外的部分置為白色，即小圖中只包含該實例的信息，其余部分為空白，作為輸入追蹤器的實例信息；

步驟3.2，將處理后的小圖輸入追蹤器中，追蹤器根據當前所有追蹤目標的運動及外觀信息預測追蹤目標在當前幀的位置后，與步驟3.1中輸入追蹤器的實例信息對比，進行匹配，匹配結果分為三種：匹配，新出現的目標與丟失的目標；對于新出現的目標為其分配一個ID，并予以觀察，若該目標連續出現則認為出現了新目標，否則忽略；對于丟失的目標則記錄該目標與上一次匹配間的幀數，若該幀數超過設定的閾值，則認為目標丟失，在追蹤器中刪除該目標；對于匹配的目標則根據為該目標分配的顏色，在步驟1得到的語義分割圖上將該目標所包含的像素點涂上相應的顏色，并為該目標標上檢測框；在此步驟中每個實例具有不同的顏色，同一類別中的不同實例具有不同的顏色，該顏色自該實例確認出現起至丟失不會改變，即不同幀中的同一實例持有相同顏色，由此得到關聯了不同幀中物體的全景分割。

5.根據權利要求1所述基于全景分割多目標追蹤的視頻全量分割計數方法，其特征在于，所述步驟4具體過程為：

在視頻中的任意階段都保存了出現過的所有目標包括當前活躍的即正在被追蹤器追蹤的目標與已丟失即已被追蹤器刪除的目標，因此在任意階段都能得到從視頻開始到該時刻為止，視頻中出現的所有目標的信息，并對出現的目標信息進行統計，例如某一類物體在視頻中共出現若干個實例。