[發明專利]一種基于智能單目視覺的舞臺搖頭燈運動協調性分析方法

在審

• 申請號: 201810242980.4
• 申請日: 2018-03-23
• 公開（公告）號: CN110298880A
• 公開（公告）日: 2019-10-01
• 發明（設計）人: 程飛;羅恒陽;江浩川;肖繼民
• 申請（專利權）人: 蘇州啟銘臻楠電子科技有限公司
• 主分類號: G06T7/70
• 分類號: G06T7/70
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于智能單目視覺的舞臺搖頭燈運動協調性分析方法，其特征在于：所述方法中硬件設備包括：一臺用于采集舞臺搖頭燈在運動時視頻數據的廣角攝像頭和一臺計算機，所述方法為：廣角攝像頭輸入的視頻圖像，通過目標檢測深度神經網絡、幾何變換、邊緣檢測、全連接神經網絡以及CNN回歸網絡算法，最終，獲取燈頭的運動偏角。

2.根據權利要求1所述的一種基于智能單目視覺的舞臺搖頭燈運動協調性分析方法，其特征在于：具體包括如下步驟：

1)數據采集：通過廣角攝像頭拍攝多臺被測的舞臺搖頭燈，得到舞臺搖頭燈接收控制指令后的運動視頻；

2)檢測每臺舞臺搖頭燈的位置和圖像：通過目標檢測深度神經網絡，找到每幀圖像中的舞臺搖頭燈的位置，并截取每一個舞臺搖頭燈的圖片；

3)尋找底座四角坐標：使用邊緣檢測算法，從步驟2)截取后的圖片中尋找出底座四角的坐標；

4)尋找屏幕四角坐標：通過已有的底座四角的坐標，經過幾何變換和邊緣檢測，尋找到屏幕四角的坐標；

5)獲取底座偏角：通過底座四角的坐標和屏幕四角的坐標，使用全連接神經網絡，得到底座的偏角；

6)燈頭相對偏角：將步驟2)中獲取的舞臺搖頭燈照片縮放到合適尺寸，并通過CNN回歸網絡，得到燈頭相對偏角；

7)獲取燈頭偏角：最終通過步驟6)中燈頭相對偏角和步驟5)中底座偏角相減，得到燈頭相對于底座的偏角，分析舞臺搖頭燈的運動參數，方便對比與存儲。

3.根據權利要求2所述的一種基于智能單目視覺的舞臺搖頭燈運動協調性分析方法，其特征在于：所述廣角攝像頭采用高分辨率高幀率廣角攝像頭。

4.根據權利要求2所述的一種基于智能單目視覺的舞臺搖頭燈運動協調性分析方法，其特征在于：所述步驟2)中目標檢測深度神經網絡采用Fast-RCNN神經網絡、Faster-RCNN神經網絡或YOLO神經網絡。

5.根據權利要求2所述的一種基于智能單目視覺的舞臺搖頭燈運動協調性分析方法，其特征在于：所述步驟2)中使用已經訓練過多種物體檢測和分類的網絡模型作為基礎，然后，使用一定數量的標注過該類燈具設備位置的圖片作為訓練數據，對網絡模型進行進一步訓練，直到準確的框選出燈具設備。

6.根據權利要求2所述的一種基于智能單目視覺的舞臺搖頭燈運動協調性分析方法，其特征在于：所述步驟5)中，訓練的樣本為步驟3)和步驟4)中獲取的坐標，樣本標簽為燈座與相機傳感器平面的偏角，該角度通過人工測量，或者使用深度攝像機檢測底座正面所在平面的夾角，全連接神經網絡輸入的數據是步驟3)和步驟4)中的八個坐標，輸出為燈座的偏角。

7.根據權利要求2所述的一種基于智能單目視覺的舞臺搖頭燈運動協調性分析方法，其特征在于：所述步驟6)中CNN回歸網絡通過對多層的AlexNet或者是ResNet修改，使他們適應回歸任務，輸出燈頭的角度。