[發明專利]交互信息發送方法、裝置、服務器和介質

有效

• 申請號: 202211322240.4
• 申請日: 2022-10-27
• 公開（公告）號: CN115379125B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 曹有龍;林哲;王清杰;李旭
• 申請（專利權）人: 北京德風新征程科技有限公司
• 主分類號: H04N23/61
• 分類號: H04N23/61;H04N23/695;H04N23/698;H04N13/161;H04N13/332;H04N13/366;G10L15/22;G10L15/26
• 代理公司: 北京唯智勤實知識產權代理事務所(普通合伙) 11557
• 代理人: 姜悅

1.一種交互信息發送方法，包括：

接收第一實時全景視頻；

響應于確定接收到虛擬現實可佩戴設備的狀態為表征虛擬現實可佩戴設備和安檢客戶端進行語音交互的狀態，接收所述虛擬現實可佩戴設備發送的攝像機角度調整語音；

將所述攝像機角度調整語音發送至安檢客戶端，以供所述安檢客戶端相關用戶針對攝像機角度調整語音對全景攝像機進行角度調整；

接收所述安檢客戶端發送的、針對所述攝像機角度調整語音的回復語音；

響應于確定所述全景攝像機角度調整完成，接收所述全景攝像機調整角度后所拍攝的第二實時全景視頻；

接收針對所述第二實時全景視頻的視頻識別結果，其中，所述第二實時全景視頻的視頻識別結果是通過以下步驟生成的：

接收所述第二實時全景視頻和觀看信息；

響應于確定所述觀看信息為表征觀看可掃描碼的信息，且可掃描碼集存在所述第二實時全景視頻中、且虛擬現實可佩戴設備的當前可觀看視場角對應的畫面中不存在所述可掃描碼集，根據所述當前可觀看視場角對應的畫面、所述可掃描碼集和所述可掃描碼集對應的可掃描碼實際位置集，生成針對所述虛擬現實可佩戴設備的第一設備扭轉信息集，其中，所述第一設備扭轉信息集中的第一設備扭轉信息和所述可掃描碼集中的可掃描碼存在一一對應關系；

將所述第一設備扭轉信息集發送至所述虛擬現實可佩戴設備，以提示所述虛擬現實可佩戴設備的相關人員查看所述可掃描碼集；

響應于確定虛擬現實可佩戴設備的相關人員針對第一設備扭轉信息完成設備扭轉、且所述虛擬現實可佩戴設備的扭轉后可觀看視場角對應的畫面中存在至少一個可掃描碼、且所述至少一個可掃描碼的可掃描碼的數量小于等于預設數量，將所述至少一個可掃描碼的每個可掃描碼的圖像輸入至可掃描碼信息識別模型，以生成識別結果集，作為視頻識別結果，其中，所述第一設備扭轉信息為所述第一設備扭轉信息集中的設備扭轉信息；

響應于確定虛擬現實可佩戴設備的相關人員針對第一設備扭轉信息完成設備扭轉、且所述虛擬現實可佩戴設備的扭轉后可觀看視場角對應的畫面中存在至少一個可掃描碼、且所述至少一個可掃描碼的可掃描碼的數量大于所述預設數量，從所述至少一個可掃描碼的可掃描碼中篩選出所述預設數量的可掃描碼，得到可掃描碼組；

將所述可掃描碼組中的每個可掃描碼的圖像輸入至所述可掃描碼信息識別模型，以生成第一子識別結果，以及將所述至少一個可掃描碼中剩余的可掃描碼的圖像發送至安檢客戶端，以供安檢客戶端的相關人員對至少一個可掃描碼中剩余的可掃描碼的圖像進行識別，以生成第二子識別結果；

將所述第一子識別結果和所述第二子識別結果的融合識別結果確定為視頻識別結果；

響應于確定所述觀看信息為表征觀看目標人員的信息，且目標人員信息集存在所述第二實時全景視頻中、且虛擬現實可佩戴設備的當前可觀看視場角對應的畫面中不存在所述目標人員信息集，根據所述當前可觀看視場角對應的畫面、所述目標人員信息集和所述目標人員信息集對應的目標人員信息實際位置集，生成針對所述虛擬現實可佩戴設備的第二設備扭轉信息集，其中，所述第二設備扭轉信息集中的第二設備扭轉信息和所述目標人員信息集中的目標人員信息存在一一對應關系；

將所述第二設備扭轉信息集發送至所述虛擬現實可佩戴設備，以提示所述虛擬現實可佩戴設備的相關人員查看所述目標人員信息集；

響應于確定虛擬現實可佩戴設備的相關人員針對第二設備扭轉信息完成設備扭轉、且所述虛擬現實可佩戴設備的扭轉后可觀看視場角對應的畫面中存在至少一個目標人員信息、且所述至少一個目標人員信息的目標人員信息的數量小于等于所述預設數量，對于所述至少一個目標人員信息中的每個目標人員信息的圖像，執行以下視頻結果生成步驟：

將所述圖像輸入至目標人員信息識別模型包括的安全帽佩戴檢測子模型、工服穿著檢測子模型、口罩佩戴檢測子模型、人員跌倒檢測子模型和人員吸煙檢測子模型，以輸出安全帽佩戴信息、工服穿著信息、口罩佩戴信息、人員跌倒信息和人員吸煙信息；

根據所述安全帽佩戴信息、所述工服穿著信息、所述口罩佩戴信息、所述人員跌倒信息和所述人員吸煙信息，生成針對所述目標人員信息的第一鍵值對信息；

將所得到第一鍵值對信息集確定為視頻識別結果；

響應于確定虛擬現實可佩戴設備的相關人員針對第二設備扭轉信息完成設備扭轉、且所述虛擬現實可佩戴設備的扭轉后可觀看視場角對應的畫面中存在至少一個目標人員信息、且所述至少一個目標人員信息的目標人員信息的數量大于所述預設數量，從所述至少一個目標人員信息的目標人員信息中篩選出所述預設數量的目標人員信息，得到目標人員信息組；對于所述目標人員信息組中的每個目標人員信息的圖像，執行以下視頻結果生成步驟：

將所述圖像輸入至所述目標人員信息識別模型包括的安全帽佩戴檢測子模型、工服穿著檢測子模型、口罩佩戴檢測子模型、人員跌倒檢測子模型和人員吸煙檢測子模型，以輸出安全帽佩戴信息、工服穿著信息、口罩佩戴信息、人員跌倒信息和人員吸煙信息；

根據所述安全帽佩戴信息、所述工服穿著信息、所述口罩佩戴信息、所述人員跌倒信息和所述人員吸煙信息，生成針對所述目標人員信息的第二鍵值對信息；

將所得到的第二鍵值對信息集確定為第三子識別結果；

將所述至少一個目標人員信息中剩余的目標人員信息的圖像發送至安檢客戶端，以供安檢客戶端的相關人員對至少一個目標人員信息中剩余的目標人員信息的圖像進行識別，以生成第四識別結果集，作為第四子識別結果；

將所述第三子識別結果和所述第四子識別結果的融合識別結果確定為視頻識別結果；

根據所述視頻識別結果、所述攝像機角度調整語音和所述回復語音，生成針對所述虛擬現實可佩戴設備和安檢客戶端的交互記錄；

將所述視頻識別結果、所述攝像機角度調整語音、所述回復語音和交互記錄發送至交互信息展示客戶端。