[發明專利]參會人員專注度的檢測方法和系統、視頻會議服務器

在審

• 申請號: 202011546480.3
• 申請日: 2020-12-24
• 公開（公告）號: CN114677551A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 張長峰;張敬宇;郭小琴
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V40/16
• 代理公司: 北京正理專利代理有限公司 11257
• 代理人: 張帆

1.一種參會人員專注度的檢測方法，應用于服務器，其特征在于，包括：

接收來自至少一個第一終端的第一參會視頻并從所述第一參會視頻提取至少一張參會圖像，所述參會圖像中包括至少一個參會人員；

使用人臉識別模型識別所述參會圖像中的參會人員并輸出各參會人員的人臉識別信息；

根據所述人臉識別信息使用專注度識別模型識別所述參會圖像并輸出各參會人員的專注度信息；

將每個參會人員的人臉識別信息和專注度信息實時疊加到所述第一參會視頻中以生成第二參會視頻并傳輸至第二終端以顯示所述第二參會視頻。

2.根據權利要求1所述的檢測方法，其特征在于，所述使用人臉識別模型識別所述參會圖像中的參會人員并輸出各參會人員的人臉識別信息進一步包括：

所述人臉識別信息包括對應的參會人員的身份信息和在所述參會圖像中的人臉位置坐標；

所述將每個參會人員的人臉識別信息和專注度信息實時疊加到所述第一參會視頻中以生成第二參會視頻并傳輸至第二終端以顯示所述第二參會視頻進一步包括：

根據所述人臉位置坐標將所述對應的參會人員的身份信息和專注度信息實時疊加到所述第一參會視頻中以生成第二參會視頻。

3.根據權利要求2所述的檢測方法，其特征在于，所述根據所述人臉識別信息使用專注度識別模型識別所述參會圖像并輸出各參會人員的專注度信息進一步包括：

根據所述人臉識別信息使用表情識別模型識別所述參會圖像以識別各參會人員的表情狀態，并根據所述表情狀態對應的預設置的專注度權重值輸出各參會人員的表情專注度分值；

和/或

根據所述人臉識別信息使用行為識別模型識別所述參會圖像以識別各參會人員的行為狀態，并根據所述行為狀態對應的預設置的專注度權重值輸出各參會人員的行為專注度分值；

根據各參會人員的所述表情專注度分值和/或行為專注度分值輸出各參會人員的專注度信息。

4.根據權利要求3所述的檢測方法，其特征在于，

接收來自第一終端的第一參會視頻并根據所述第一參會視頻提取至少一張參會圖像之前，所述檢測方法還包括：采集各參會者的生物特征和參會信息；

所述使用人臉識別模型識別所述參會圖像中的參會人員并輸出各參會人員的人臉識別信息進一步包括，使用各參會者的生物特征和參會信息核對所述身份信息；

所述根據所述人臉識別信息使用專注度識別模型識別所述參會圖像并輸出各參會人員的專注度信息進一步包括：

使用各參會者的生物特征核對所述表情狀態。

5.根據權利要求1-4中任一項所述的檢測方法，其特征在于，

所述根據所述人臉識別信息使用專注度識別模型識別所述參會圖像并輸出各參會人員的專注度信息進一步包括：

按照會議時間存儲各參會人員的專注度信息；

根據存儲的各參會人員的專注度信息繪制每個參會人員的專注度曲線并生成該參會人員的專注度分析報告。

6.根據權利要求1所述的檢測方法，其特征在于，

所述接收來自第一終端的第一參會視頻并根據所述第一參會視頻提取多張參會圖像進一步包括：

按照預設時間間隔提取至少一張參會圖像。

7.一種參會人員專注度的檢測方法，應用于第一終端，其特征在于，包括：

采集第一參會視頻并傳輸至服務器，使得服務器使用人臉識別模型和專注度識別模型從所述第一參會視頻獲取各參會人員的人臉識別信息和專注度信息，并將所述人臉識別信息和專注度信息實時疊加到所述第一參會視頻中以生成第二參會視頻并傳輸至第二終端以顯示該第二參會視頻。

8.一種參會人員專注度的檢測方法，應用于第二終端，其特征在于，包括：

接收并播放第二參會視頻，所述第二參會視頻包括各參會人員的人臉識別信息和專注度信息，所述人臉識別信息和專注度信息為服務器使用人臉識別模型和專注度識別模型從第一終端采集的第一參會視頻中獲取的。