[發明專利]一種基于組合深度神經網絡的舞臺多目標追蹤和分類方法

在審

• 申請號: 201810242992.7
• 申請日: 2018-03-23
• 公開（公告）號: CN110298214A
• 公開（公告）日: 2019-10-01
• 發明（設計）人: 程飛;羅恒陽;謝彥春;肖繼民
• 申請（專利權）人: 蘇州啟銘臻楠電子科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于組合深度神經網絡的舞臺多目標追蹤和分類方法，所述方法中硬件設備包括：一臺或多臺攝像機以及運算服務器；所述方法為：結合多種深度神經網絡，以及使用圖像處理技術，通過對深度神經網絡模型的訓練，實現舞臺演出中多演員同時追蹤和角色辨別。本發明通過多種神經網絡算法，結合計算機視覺算法，解決了舞臺彩排和演出過程中的不同類型演員的檢測、跟蹤和分類識別。該項技術可以為后續的舞臺理解、舞臺布景和燈光方案智能生成、舞臺編舞智能輔助等智能舞臺應用提供重要的基礎。

技術領域

本發明涉及演員的跟蹤和分類識別技術領域，具體為一種基于組合深度神經網絡的舞臺多目標追蹤和分類方法。

背景技術

一場精彩的舞臺演出在視覺方面離不開優秀的舞臺布景和舞臺燈光。而演出人員的走位和角色分配是舞臺布景和舞臺燈光設計的關鍵因素之一。傳統的舞臺布景設計和舞臺燈光設計往往由經驗豐富的設計師根據彩排時演員的走位安排設計合適的布景和燈光效果。然而，這種固定化的設計，在演出時非常制約演員的臨場發揮，演員需要按照彩排的走位進行演出。在一些大型演出中也經常出現演員沒有走到正確的位置上而錯過燈光的情況。

目前，針對該問題，主流的方法通過佩戴短距離無線定位傳感器的實現演員在舞臺上的定位。但是該方法的很容易受到舞臺復雜的電磁環境干擾，并且不利于針對多演員的場景使用，也無法識別演員的角色。

本發明通過組合使用不同用途的深度神經網絡算法，解決了舞臺演員的定位于角色識別問題。為后續的舞臺智能化提供重要的信息依據。

發明內容

本發明的目的在于提供一種基于組合深度神經網絡的舞臺多目標追蹤和分類方法，以解決上述背景技術中提出的問題。為后續智能舞臺應用提供信息依據。

為實現上述目的，本發明提供如下技術方案：

一種基于組合深度神經網絡的舞臺多目標追蹤和分類方法，所述方法中硬件設備包括：一臺或多臺攝像機以及運算服務器；所述方法為：結合多種深度神經網絡，以及使用圖像處理技術，通過對深度神經網絡模型的訓練，實現舞臺演出中多演員同時追蹤和角色辨別。

作為本發明進一步的方案：具體包括如下步驟：

1)數據采集：通過攝像機拍攝物體場景，圖像包含所有的需要被跟蹤和辨別的演員；

2)演員位置檢測和圖像分割：通過合理訓練的目標檢測深度神經網絡，找到每幀圖像中的所有演員的位置，并截取每一個演員的圖片；

3)分割后圖像預處理：將截取分割后的圖片進行統一尺寸的預處理，在保證人物比例的情況下，進行圖像縮放；

4)演員位置跟蹤：通過合理訓練的目標跟蹤神經網絡，得到每一個演員的運動軌跡

5)演員角色辨別：對演員角色進行無監督聚類分析，分析出不同的演員種類。

作為本發明進一步的方案：所述方法中的演員包括歌手、舞蹈演員或話劇演員。

作為本發明進一步的方案：所述攝像機采用高清高速攝像機。

作為本發明進一步的方案：所述步驟2)中目標檢測深度神經網絡采用Fast-RCNN神經網絡、Faster-RCNN神經網絡或YOLO神經網絡。

作為本發明進一步的方案：所述步驟2)中的訓練數據從各種大型演唱會、演出中截取大量的視頻和圖像，通過人工輔助標注，形成豐富的訓練樣本。

作為本發明進一步的方案：所述步驟4)中目標跟蹤神經網絡采用基于相關濾波器的端到端跟蹤算法，或者采用基于訓練和高速深度回歸網絡的跟蹤算法。

與現有技術相比，本發明的有益效果是：

(1)采用非接觸式的方法進行追蹤和分類識別；