[發(fā)明專利]多相機(jī)場景會議室中發(fā)言者重新識別的系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 202211067685.2
• 申請日: 2022-09-01
• 公開（公告）號: CN116434323A
• 公開（公告）日: 2023-07-14
• 發(fā)明（設(shè)計(jì)）人: 晏勇;張葵;D·揚(yáng)
• 申請（專利權(quán)）人: 繽特力股份有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/82;H04N7/15;H04N23/60
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 李煒;張鑫

1.一種用于選擇多個相機(jī)中的一個相機(jī)以提供用于提供給遠(yuǎn)端的視頻流的方法，所述多個相機(jī)各自具有環(huán)境中的一組參與者的不同視圖并提供視頻流，所述多個相機(jī)中的一個相機(jī)具有麥克風(fēng)陣列，所述方法包括：

針對所述多個相機(jī)中的每個相機(jī)確定每個參與者的世界坐標(biāo)；

使用所述一個相機(jī)上的所述麥克風(fēng)陣列利用聲音源定位來確定發(fā)言者方向信息；

使用所述發(fā)言者方向信息和來自所述一個相機(jī)的所述視頻流的圖像來識別所述一組參與者中的發(fā)言者；

基于所述識別來確定所述發(fā)言者的世界坐標(biāo)；

確定來自所述一個相機(jī)的所述視頻流的圖像中的所述發(fā)言者的面部姿勢；

基于所述多個相機(jī)中的除所述一個相機(jī)之外的位置和所述發(fā)言者的所述面部姿勢，從所述多個相機(jī)中選擇一個相機(jī)以提供用于提供給所述遠(yuǎn)端的視頻流；以及

利用所確定的發(fā)言者世界坐標(biāo)在所選擇的相機(jī)的所述視頻流中框選所述發(fā)言者。

2.根據(jù)權(quán)利要求1所述的方法，還包括：

確定所述多個相機(jī)中的每個相機(jī)的坐標(biāo)系到所述世界坐標(biāo)系的旋轉(zhuǎn)和平移。

3.根據(jù)權(quán)利要求1所述的方法，還包括：

當(dāng)不存在發(fā)言者并且存在參與者時，選擇所述多個相機(jī)中的提供參與者的最正面視圖的相機(jī)；以及

當(dāng)不存在參與者時，選擇默認(rèn)相機(jī)。

4.根據(jù)權(quán)利要求1所述的方法，其中，確定每個參與者的所述世界坐標(biāo)包括：將每個參與者的所確定的世界坐標(biāo)存儲在從所述相機(jī)的視角的相機(jī)和個人的表中，并且

其中，利用所確定的發(fā)言者世界坐標(biāo)來框選所述發(fā)言者包括：使用所確定的發(fā)言者世界坐標(biāo)從所述表中針對所選擇的相機(jī)尋找適當(dāng)?shù)膫€人。

5.根據(jù)權(quán)利要求1所述的方法，還包括：

確定從所選擇的相機(jī)提供的所述發(fā)言者的所述正面視圖是否令人滿意；以及

當(dāng)從所選擇的相機(jī)提供的所述發(fā)言者的所述正面視圖令人滿意時，從所選擇的相機(jī)提供所述發(fā)言者的框選的視圖。

6.根據(jù)權(quán)利要求5所述的方法，還包括：

當(dāng)從所選擇的相機(jī)提供的所述發(fā)言者的所述正面視圖不令人滿意時，利用所確定的發(fā)言者世界坐標(biāo)來評估來自所述多個相機(jī)中的除所選擇的相機(jī)之外的每個相機(jī)的所述發(fā)言者的所述面部視圖；以及

當(dāng)從所選擇的相機(jī)提供的所述發(fā)言者的所述正面視圖不令人滿意時，從所述多個相機(jī)中的具有所述發(fā)言者的最佳正面視圖的相機(jī)提供所述發(fā)言者的框選的視圖。

7.根據(jù)權(quán)利要求1所述的方法，其中，所述一個相機(jī)是所述多個相機(jī)中的中央相機(jī)。