[發(fā)明專利]一種基于組合深度神經(jīng)網(wǎng)絡(luò)的舞臺多目標(biāo)追蹤和分類方法

在審

• 申請?zhí)枺?/td>: 201810242992.7
• 申請日: 2018-03-23
• 公開（公告）號: CN110298214A
• 公開（公告）日: 2019-10-01
• 發(fā)明（設(shè)計(jì)）人: 程飛;羅恒陽;謝彥春;肖繼民
• 申請（專利權(quán)）人: 蘇州啟銘臻楠電子科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于組合深度神經(jīng)網(wǎng)絡(luò)的舞臺多目標(biāo)追蹤和分類方法，其特征在于：所述方法中硬件設(shè)備包括：一臺或多臺攝像機(jī)以及運(yùn)算服務(wù)器；所述方法為：結(jié)合多種深度神經(jīng)網(wǎng)絡(luò)，以及使用圖像處理技術(shù)，通過對深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練，實(shí)現(xiàn)舞臺演出中多演員同時追蹤和角色辨別。

2.根據(jù)權(quán)利要求1所述的一種基于組合深度神經(jīng)網(wǎng)絡(luò)的舞臺多目標(biāo)追蹤和分類方法，其特征在于：具體包括如下步驟：

1)數(shù)據(jù)采集：通過攝像機(jī)拍攝物體場景，圖像包含所有的需要被跟蹤和辨別的演員；

2)演員位置檢測和圖像分割：通過合理訓(xùn)練的目標(biāo)檢測深度神經(jīng)網(wǎng)絡(luò)，找到每幀圖像中的所有演員的位置，并截取每一個演員的圖片；

3)分割后圖像預(yù)處理：將截取分割后的圖片進(jìn)行統(tǒng)一尺寸的預(yù)處理，在保證人物比例的情況下，進(jìn)行圖像縮放；

4)演員位置跟蹤：通過合理訓(xùn)練的目標(biāo)跟蹤神經(jīng)網(wǎng)絡(luò)，得到每一個演員的運(yùn)動軌跡

5)演員角色辨別：對演員角色進(jìn)行無監(jiān)督聚類分析，分析出不同的演員種類。

3.根據(jù)權(quán)利要求2所述的一種基于組合深度神經(jīng)網(wǎng)絡(luò)的舞臺多目標(biāo)追蹤和分類方法，其特征在于：所述方法中的演員包括歌手、舞蹈演員或話劇演員。

4.根據(jù)權(quán)利要求2所述的一種基于組合深度神經(jīng)網(wǎng)絡(luò)的舞臺多目標(biāo)追蹤和分類方法，其特征在于：所述攝像機(jī)采用高清高速攝像機(jī)。

5.根據(jù)權(quán)利要求2所述的一種基于組合深度神經(jīng)網(wǎng)絡(luò)的舞臺多目標(biāo)追蹤和分類方法，其特征在于：所述步驟2)中目標(biāo)檢測深度神經(jīng)網(wǎng)絡(luò)采用Fast-RCNN神經(jīng)網(wǎng)絡(luò)、Faster-RCNN神經(jīng)網(wǎng)絡(luò)或YOLO神經(jīng)網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求2所述的一種基于組合深度神經(jīng)網(wǎng)絡(luò)的舞臺多目標(biāo)追蹤和分類方法，其特征在于：所述步驟2)中的訓(xùn)練數(shù)據(jù)從各種大型演唱會、演出中截取大量的視頻和圖像，通過人工輔助標(biāo)注，形成豐富的訓(xùn)練樣本。

7.根據(jù)權(quán)利要求2所述的一種基于組合深度神經(jīng)網(wǎng)絡(luò)的舞臺多目標(biāo)追蹤和分類方法，其特征在于：所述步驟4)中目標(biāo)跟蹤神經(jīng)網(wǎng)絡(luò)采用基于相關(guān)濾波器的端到端跟蹤算法，或者采用基于訓(xùn)練和高速深度回歸網(wǎng)絡(luò)的跟蹤算法。