[發明專利]一種視頻靜態背景合成方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010673939.X
• 申請日: 2020-07-14
• 公開（公告）號: CN111565286B
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 謝天;華煒;馬也馳;李融
• 申請（專利權）人: 之江實驗室
• 主分類號: H04N5/272
• 分類號: H04N5/272
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 應孔月

1.一種視頻靜態背景合成方法，其特征在于，包括：

獲取步驟，從輸入視頻中獲取攝像機內參和外參相同的K幀圖像；

標記步驟，對K幀圖像中的每一幀圖像，標識出在背景合成中不需要的物體所占據的區域R，并對屬于區域R的圖像像素給出剔除標記；

第一判斷步驟，對每一個像素位置(u,v)，若K幀圖像中位于像素位置(u,v)處存在若干沒有剔除標記的像素，則對這些像素的顏色進行合成，得到顏色C，則最終輸出的背景合成圖像在像素位置(u,v)處的像素顏色等于顏色C；若K幀圖像中位于像素位置(u,v)處不存在沒有剔除標記的像素，則記錄該像素位置(u,v)到集合U中；

第二判斷步驟，若集合U為空，則終止過程，輸出最終的背景合成圖像；若集合U不空，則從輸入視頻中額外獲取M幀圖像，M幀圖像的攝像機內參和外參都與K幀圖像相同，標識出在背景合成中不需要的物體所占據的區域R，并對屬于區域R的圖像像素給出剔除標記；

第三判斷步驟，對集合U中記錄的每個像素位置(u,v)，若M幀圖像中位于像素位置(u,v)處存在若干沒有剔除標記的像素，則從集合U中刪除像素位置(u,v)，并且對這些像素顏色進行合成，得到顏色C，則最終輸出的背景合成圖像在像素位置(u,v)處的像素顏色等于顏色C；

循環終止步驟，若未到終止條件，則執行第二判斷步驟，否則終止過程，輸出最終的背景合成圖像，其中終止條件為集合U為空。

2.根據權利要求1所述的一種視頻靜態背景合成方法，其特征在于，所述標記步驟中，標識出在背景合成中不需要的物體所占據的區域R時，先通過目標識別算法進行自動標識，再對標識的結果進行人機交互修改。

3.根據權利要求1所述的一種視頻靜態背景合成方法，其特征在于，所述第一判斷步驟和第三判斷步驟中，對像素顏色進行合成時，采用下述三種方法中的一種來合成顏色：

（a）加權平均方法，對每個像素顏色設定一個大于等于零的權重系數，滿足所有權重系數之和等于一，則合成的顏色為每個像素顏色乘以其權重系數后的總和；

（b）聚類方法，對像素顏色進行去噪處理，然后對去噪后的像素顏色做聚類處理，聚為2類，對比2個聚類中心所代表的像素顏色的明度，則合成的顏色為明度較高的聚類中心所代表的像素顏色；

（c）主成分分析方法，對像素顏色進行去噪處理，然后對去噪后的像素顏色做主成分分析，則合成的顏色為C_avg + e₁×(l₁-l₃)，其中C_avg為去噪后的像素的平均顏色，三個特征值從大到小依次為l₁、l₂、l₃，e₁為l₁對應的特征向量。

4.一種視頻靜態背景合成裝置，其特征在于，包括：

獲取模塊，用于從輸入視頻中獲取攝像機內參和外參相同的K幀圖像；

標記模塊，用于對K幀圖像中的每一幀圖像，標識出在背景合成中不需要的物體所占據的區域R，并對屬于區域R的圖像像素給出剔除標記；

第一判斷模塊，用于對每一個像素位置(u,v)，若K幀圖像中位于像素位置(u,v)處存在若干沒有剔除標記的像素，則對這些像素的顏色進行合成，得到顏色C，則最終輸出的背景合成圖像在像素位置(u,v)處的像素顏色等于顏色C；若K幀圖像中位于像素位置(u,v)處不存在沒有剔除標記的像素，則記錄該像素位置(u,v)到集合U中；

第二判斷模塊，用于若集合U為空，則終止過程，輸出最終的背景合成圖像；若集合U不空，則從輸入視頻中額外獲取M幀圖像，M幀圖像的攝像機內參和外參都與K幀圖像相同，標識出在背景合成中不需要的物體所占據的區域R，并對屬于區域R的圖像像素給出剔除標記；

第三判斷模塊，用于對集合U中記錄的每個像素位置(u,v)，若M幀圖像中位于像素位置(u,v)處存在若干沒有剔除標記的像素，則從集合U中刪除像素位置(u,v)，并且對這些像素顏色進行合成，得到顏色C，則最終輸出的背景合成圖像在像素位置(u,v)處的像素顏色等于顏色C；

循環終止模塊，用于若未到終止條件，則執行第二判斷模塊，否則終止過程，輸出最終的背景合成圖像，其中終止條件為集合U為空。