[發明專利]結合音視頻的多人會議實時展示的方法、介質和電子設備

在審

• 申請號: 202010768772.5
• 申請日: 2020-08-03
• 公開（公告）號: CN111818294A
• 公開（公告）日: 2020-10-23
• 發明（設計）人: 呂安旗;鄭達;李索恒;張志齊
• 申請（專利權）人: 上海依圖信息技術有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15;H04N21/43;H04N21/431;H04N21/488;G10L15/26;G10L17/00;G10L21/028;G06F16/432;G06K9/00
• 代理公司: 上海華誠知識產權代理有限公司 31300
• 代理人: 徐穎聰

1.一種結合音視頻的多人會議實時展示的方法，其特征在于，所述方法包括：

獲取參會人員中發言人的音頻數據；

對所述音頻數據進行語音識別處理，得到所述發言人的文本信息；

將所述文本信息同步且實時展示在包含所述發言人的會議視頻中所述發言人對應的區域，每個所述發言人的文本信息和每個所述發言人在會議視頻中的位置一一對應。

2.如權利要求1所述的方法，其特征在于，所述將所述文本信息同步且實時展示在包含所述發言人的會議視頻中所述發言人對應的區域，包括：

分析所述音頻數據，確定所述發言人的聲音特征信息；

將所述發言人的所述聲音特征信息與數據庫中所述參會人員的認證信息進行匹配，得到所述發言人的臉部特征信息，其中所述認證信息包括所述聲音特征信息和所述臉部特征信息；

利用所述發言人的所述臉部特征信息，獲取所述會議視頻；

將所述文本信息同步且實時展示在所述會議視頻中所述發言人對應的區域。

3.如權利要求1或2所述的方法，其特征在于，所述方法還包括：

根據所述發言人的所述音頻數據判斷是否有多人在說話；

當判斷出發言人數量為多個時，則對所述的音頻數據進行說話人分離。

4.如權利要求1或2所述的方法，其特征在于，所述方法還包括：

根據所述會議視頻判斷是否有多人在說話；

當判斷出發言人數量為多個時，則對所述的音頻數據進行說話人分離。

5.如權利要求2所述的方法，其特征在于，所述方法還包括：

生成會議紀要，所述會議紀要包括所述發言人的所述認證信息和所述文本信息。

6.如權利要求2所述的方法，其特征在于，將所述發言人的所述聲音特征信息與數據庫中所述參會人員的認證信息進行匹配，得到所述發言人的臉部特征信息，包括：數據庫中存儲聲音特征信息和臉部特征信息映射關系表，根據所述發言人的聲音特征信息查詢所述聲音特征信息和臉部特征信息映射關系表，得到所述發言人的臉部特征信息。

7.如權利要求6所述的方法，其特征在于，所述根據所述發言人的聲音特征信息查詢所述聲音特征信息和臉部特征信息映射關系表，得到所述發言人的臉部特征信息，包括：

若所述發言人的聲音特征信息與所述聲音特征信息和臉部特征信息映射關系表中的聲音特征信息的相似度值大于預設相似度值，則將大于預設相似度值的聲音特征信息對應的臉部特征信息確定為所述發言人的臉部特征信息。

8.一種結合音視頻的多人會議實時展示的裝置，其特征在于，所述裝置包括：

獲取單元，用于獲取參會人員中發言人的音頻數據；

識別單元，用于對所述音頻數據進行語音識別處理，得到所述發言人的文本信息；

同步單元，用于將所述文本信息同步且實時展示在包含所述發言人的會議視頻中所述發言人對應的區域，每個所述發言人的文本信息和每個所述發言人在會議視頻中的位置一一對應。

9.一種可讀介質，其特征在于，所述可讀介質上存儲有指令，該指令在電子設備上執行時使電子設備執行權利要求1至7中任一項所述的結合音視頻的多人會議實時展示的方法。

10.一種電子設備，其特征在于，包括：

存儲器，用于存儲由電子設備的一個或多個處理器執行的指令，以及

處理器，是電子設備的處理器之一，用于執行權利要求1至7中任一項所述的結合音視頻的多人會議實時展示的方法。