[發明專利]一種圖像語音采集終端裝置及其工作方法

在審

• 申請號: 202010905748.1
• 申請日: 2020-09-01
• 公開（公告）號: CN111866357A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 楊勇智;代金良;魏敏;楊猛;徐寧;閆高鋒;費硯志;黃穎
• 申請（專利權）人: 大連金華錄數碼科技有限公司;北京三聽科技有限公司;中科睿海（大連）智能技術研究院有限公司
• 主分類號: H04N5/225
• 分類號: H04N5/225;H04N7/18;G06K9/00;G10L15/00
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 李馨

1.一種圖像語音采集終端裝置，其特征在于，包括：攝像頭、麥克風陣列、主電路板以及接口電路板；所述麥克風陣列包括在所述攝像頭外圍呈周向設置的若干麥克風；

所述攝像頭與所述主電路板的視頻采集端口連接；

所述麥克風陣列與所述主電路板的音頻采集端口連接；

所述接口電路板與所述主電路板的傳輸端口連接；

所述接口電路板上設置有USB接口、網絡接口和AV接口。

2.根據權利要求1所述的圖像語音采集終端裝置，其特征在于，所述裝置還包括插針板，所述插針板的一側連接所述主電路板，另一側連接所述接口電路板。

3.根據權利要求1所述的圖像語音采集終端裝置，其特征在于，所述主電路板上還設置有PCM接口。

4.根據權利要求1所述的圖像語音采集終端裝置，其特征在于，所述USB接口為Micro-USB接口或USBType-C接口。

5.根據權利要求1-4中任意一項所述的圖像語音采集終端裝置，其特征在于，裝置還包括外殼，所述外殼具有能夠容納攝像頭的空腔結構，所述空腔結構的腔口向外側設置有若干拾音孔，所述外殼內部對應每一收音孔位置設置一個麥克風；

所述外殼的側面對應所述USB接口的位置設置有USB外接口、對應所述網絡接口的位置有網絡外接口、對應所述AV接口的位置設置有AV外接口。

6.一種圖像語音采集終端裝置的工作方法，其特征在于，基于權利要求1所述的裝置實現，包括：

主電路板通過麥克風陣列進行拾音，通過攝像頭提取視頻圖像，將提取的視頻信息和音頻信息通過接口電路板寫入網絡接口和USB接口；

處理設備通過連接網絡接口或USB接口實現與主電路板的連接，并對主電路板拾取的音頻數據和視頻數據進行分析處理，基于各麥克風拾取音頻數據的時間差生成聲源定位數據，基于所述聲源定位數據生成控制指令回傳至所述主電路板，以控制攝像頭使攝像頭的拍攝方向正對聲源方向，其中所述處理設備為后臺服務器。

7.一種圖像語音采集終端裝置的工作方法，其特征在于，基于權利要求1所述的裝置實現，包括：

主電路板通過麥克風陣列進行拾音，通過攝像頭提取視頻圖像，將提取的視頻信息和音頻信息通過接口電路板寫入網絡接口和USB接口；

處理設備由所述網絡接口和USB接口提取所述視頻信息和音頻信息，基于所述視頻信息限定音頻信息采集范圍，基于各麥克風拾取音頻數據的時間差生成聲源定位數據，當判斷聲源位置在音頻信息采集范圍內時，通過波束成形算法對所述音頻信息進行增強，否則對所述音頻信息進行衰減，從而實現對指定圖像采集區域的定向音頻信息采集，其中所述處理設備為后臺服務器。

8.一種圖像語音采集終端裝置的工作方法，其特征在于，基于權利要求1所述的裝置實現，包括：

主電路板通過麥克風陣列進行拾音，通過攝像頭提取視頻圖像，將提取的視頻信息和音頻信息通過接口電路板寫入網絡接口和USB接口；

處理設備由所述網絡接口和USB接口提取所述視頻信息和音頻信息，對得到的視頻信息中的人員面部圖像進行人臉特征提取，使用訓練好的人臉識別模型對提取的人臉特征進行識別，進而確定目標對象，生成控制指令回傳至主電路板，以控制攝像頭使攝像頭的拍攝方向跟隨所述目標對象移動方向；

處理設備基于所述視頻信息提取所述目標對象的位置，以所述目標對象的位置作為聲源位置，基于各麥克風拾取音頻數據的時間差提取目標對象發出的目標音頻信息，并通過波束成形算法對所述目標音頻信息進行增強，其中所述處理設備為后臺服務器。