[發(fā)明專利]一種使用深度學(xué)習(xí)的智能鏡頭拍攝方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201711098878.3
• 申請日: 2017-11-09
• 公開（公告）號: CN107864334A
• 公開（公告）日: 2018-03-30
• 發(fā)明（設(shè)計）人: 張明;李林澤;劉博;祝梁超
• 申請（專利權(quán)）人: 睿魔智能科技（東莞）有限公司;東莞松山湖國際機器人研究院有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司44102
• 代理人: 羅曉林,楊桂洋

技術(shù)領(lǐng)域

本發(fā)明涉及一種使用深度學(xué)習(xí)的智能鏡頭拍攝方法及系統(tǒng)。

背景技術(shù)

人們經(jīng)常會使用攝像機記錄生活片段、演出活動、體育賽事等等值得記錄或重復(fù)觀看的場景。在觀看記錄片時，常常會用慢速播放的方法，來仔細觀察其中某些精彩或重要的片段。對這些片段，使用高速攝像機來進行拍攝是非常必要的，否則會導(dǎo)致畫面不連續(xù)或者漏過一些重要瞬間等問題。而對除此之外的片段的拍攝，如果依然采用高速攝像機進行拍攝，則會占用大量的存儲空間。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是提供一種使用深度學(xué)習(xí)的智能鏡頭拍攝方法和系統(tǒng)，自動切換高速拍攝模式和普通拍攝模式，不需要人工操作，同時擁有比人更快的反應(yīng)速度，避免錯過重要瞬間。

為了解決上述技術(shù)問題，本發(fā)明采取以下技術(shù)方案：

一種使用深度學(xué)習(xí)的智能鏡頭拍攝方法，包括以下步驟：

開啟攝像機鏡頭進行拍攝，使用深度學(xué)習(xí)的方法對鏡頭中的目標(biāo)對象進行感知，獲取目標(biāo)對象的特征；

使用深度學(xué)習(xí)的方法對拍攝片段進行檢測定位，若檢測到當(dāng)前片段為感興趣片段時，開啟高速拍攝模式，若檢測到當(dāng)前片段為非感興趣片段時，開啟普通拍攝模式，該普通拍攝模式的拍攝速度低于高速拍攝模式。

所檢測定位拍攝片段時，對拍攝片段定義一個置信度的預(yù)設(shè)閾值，若當(dāng)前拍攝片段的置信度大于閾值，則表明當(dāng)前拍攝片段為感興趣片段，開啟高速拍攝模式，若當(dāng)前拍攝片段的置信度小于閾值，則表明當(dāng)前拍攝片段為非感興趣片段，開啟普通拍攝模式。

所述對目標(biāo)對象進行感知時，采用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)獲取目標(biāo)對象的空間特征和時序特征，識別目標(biāo)的特征要素和目標(biāo)對象周圍的場景，特征要素包括位置、姿態(tài)和行為，獲取特征要素隨時間變化而發(fā)生改變的信息，獲取當(dāng)前幀圖像的置信度。

所述拍攝中的每一幀圖像都由相同的卷積神經(jīng)網(wǎng)絡(luò)進行空間特征的提取，然后該卷積神經(jīng)網(wǎng)絡(luò)輸出當(dāng)前的時序信息，該當(dāng)前的時序信息與之前的時序信息一起構(gòu)成時序特征，從而輸出當(dāng)前幀圖像的當(dāng)前片段的置信度，同時將當(dāng)前的時序信息和之前的時序信息進行累積并輸出。

所述深度學(xué)習(xí)時，首先構(gòu)建一個包含若干個視頻片段的數(shù)據(jù)集，每一個視頻片段都進行感興趣片段起始時間點和終止時間點的標(biāo)記，用該數(shù)據(jù)集訓(xùn)練得到用于深度學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)模型。

一種使用深度學(xué)習(xí)的智能鏡頭拍攝系統(tǒng)，所述系統(tǒng)包括：感知單元，用于感知和識別目標(biāo)對象周圍的場景，以及目標(biāo)對象的特征，該感知單元包括人體檢測模塊、姿態(tài)估計模塊、場景感知模塊、人體跟蹤模塊；檢測定位單元，用于對拍攝片段進行檢測定位，查看是否為感興趣片段；控制單元，用于切換高速拍攝模式和普通拍攝模式。

還包括對比單元，用于比較當(dāng)前片段的置信度與閾值的大小關(guān)系。

還包括長短時記憶單元，用于當(dāng)前的時序信息和之前的時序信息，以及輸出當(dāng)前幀圖像的當(dāng)前片段的置信度，同時對接收到的時序信息進行累積且輸出至下一個長短時記憶單元。

本發(fā)明自動切換高速拍攝模式和普通拍攝模式，不需要人工操作，同時擁有比人更快的反應(yīng)速度，避免錯過重要瞬間，獲取全面準(zhǔn)確的空間信息和時序信息，準(zhǔn)確地捕捉感興趣的片段，實時的用戶行為分析。

附圖說明

附圖1為本發(fā)明切換拍攝模式的示意圖；

附圖2為本發(fā)明感知和輸出拍攝片段的置信度的示意圖。

具體實施方式

為能進一步了解本發(fā)明的特征、技術(shù)手段以及所達到的具體目的、功能，下面結(jié)合附圖與具體實施方式對本發(fā)明作進一步詳細描述。

如附圖1所示，本發(fā)明揭示了一種使用深度學(xué)習(xí)的智能鏡頭拍攝方法，包括以下步驟：

開啟攝像機鏡頭進行拍攝，使用深度學(xué)習(xí)的方法對鏡頭中的目標(biāo)對象進行感知，獲取目標(biāo)對象的特征，具體為識別目標(biāo)對象周圍的場景以及目標(biāo)對象的位置、姿態(tài)、行為等。深度學(xué)習(xí)時，首先構(gòu)建一個包含若干個視頻片段的數(shù)據(jù)集，每一個視頻片段都進行感興趣片段起始時間點和終止時間點的標(biāo)記，用該數(shù)據(jù)集訓(xùn)練得到用于深度學(xué)習(xí)的深度神經(jīng)網(wǎng)絡(luò)模型，利用該深度神經(jīng)網(wǎng)絡(luò)模型可進行有效的感知。

使用深度學(xué)習(xí)的方法對拍攝片段進行檢測定位，若檢測到當(dāng)前片段為感興趣片段時，開啟高速拍攝模式，若檢測到當(dāng)前片段為非感興趣片段時，開啟普通拍攝模式，該普通拍攝模式的拍攝速度低于高速拍攝模式。在高速拍攝模式和普通拍攝模式中自動切換，從而保證對感興趣片段及時的進行高速拍攝，不會錯漏過重要瞬間。