[發明專利]一種基于設備端OSD的人臉加框方法

有效

• 申請號: 202011450723.3
• 申請日: 2020-12-10
• 公開（公告）號: CN112616055B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 柳亞斌;林喆
• 申請（專利權）人: 上海商米科技集團股份有限公司;深圳米開朗基羅科技有限公司
• 主分類號: H04N19/46
• 分類號: H04N19/46;H04N19/172
• 代理公司: 上海邦德專利代理事務所(普通合伙) 31312
• 代理人: 余娜

本發明公開了一種基于設備端OSD的人臉加框方法，包括：S1、將編碼通道設置為手動送幀編碼模式；S2、按時間戳將視頻幀緩存并按序發往AI模塊；S3、根據AI模塊識別并返回的人臉坐標生成區域的畫框位圖；S4、將帶人臉框的OSD添加到響應的編碼通道上；S5、將AI模塊處理過的視頻幀發送到編碼通道；S6、清除OSD，重復步驟S2?S5實現按時間戳遞增的循環處理。根據本發明，利用OSD技術對某一個或幾個通道的編碼流進行人臉加框處理，實時性較好，且不會更改原始YUV數據幀內容。

技術領域

本發明涉及視頻幀處理的技術領域，特別涉及一種基于設備端OSD的人臉加框方法。

背景技術

隨著人臉識別技術的成熟，視頻流可以對其中出現的人臉進行加框從而更突出的顯示，視頻中對識別到的人臉進行加框顯示處理，目前方案主要集中在后臺或者web端處理，后臺處理是把接收到視頻再次處理包括人臉識別以及對識別到的人臉視頻幀數據進行加框二次處理，web端加框處理是接收設備或后臺發送的人臉坐標信息，根據坐標信息對人臉進行畫框處理，相當于在畫布上操作。

人臉識別后的視頻幀的人臉加框處理目前主要是處理之后對YUV數據進行二次處理，對人臉框位置的像素數據進行修改，目前的OSD技術主要用處對視頻畫面進行遮擋、顯示色塊、顯示名稱或時間戳等信息。現有的技術如果對原始YUV數據處理，會造成后續各編碼都會帶有人臉框，無法滿足某些通道比如截圖通道不帶人臉框或者需要不同顯示格式的要求，如果前端接收人臉框坐標消息，則容易受網絡和前端畫布操作的影響。

發明內容

針對現有技術中存在的不足之處，本發明的目的是提供一種基于設備端OSD的人臉加框方法，利用OSD技術對某一個或幾個通道的編碼流進行人臉加框處理，實時性較好，且不會更改原始YUV數據幀內容。為了實現根據本發明的上述目的和其他優點，提供了一種基于設備端OSD的人臉加框方法，包括以下步驟：

S1、將編碼通道設置為手動送幀編碼模式；

S2、按時間戳將視頻幀緩存并按序發往AI模塊；

S3、根據AI模塊識別并返回的人臉坐標生成區域的畫框位圖；

S4、將帶人臉框的OSD添加到響應的編碼通道上；

S5、將AI模塊處理過的視頻幀發送到編碼通道；

S6、清除OSD，重復步驟S2-S5實現按時間戳遞增的循環處理。

優選的，所述步驟S1包括斷開傳統視頻處理綁定流程，編碼通道設置為手動送幀，且將緩存幀數據并將幀送到AI模塊處理。

優選的，包括AI模塊處理收到的幀數據并返回人臉坐標，且進行判斷是否存在需要加框的人臉坐標。

優選的，當判斷需要加框的人臉坐標，根據返回人臉坐標生成人臉區域的畫框位圖，當判斷不需要人臉坐標加框，則進行步驟S4。

優選的，所述AI模塊按時間戳為Ts幀的人臉坐標返回，進行判斷AI模塊是否按照時間戳為Ts返回人臉坐標。

優選的，當判斷AI模塊不是按時間戳為Ts返回人臉坐標，則認為沒有有效人臉，直接將該幀發送至編碼器。

本發明與現有技術相比，其有益效果是：通過根據人臉坐標計算出人臉區域的加框位圖，只對人臉框位置進行遮擋顯示，人臉區域的位圖的非人臉框位置全部透明顯示，這樣就可以實現人臉區域只有人臉框位置有“畫線”的顯示，而別的區域都未受印象的效果，并且不同通道可以實現不同OSD的綁定顯示的效果。對于接收到時間戳為Ts的視頻幀的人臉坐標返回之后需要有超時和對時處理，保證該方案視頻效果的實時性，且不會更改原始YUV數據幀內容。

附圖說明

圖1為根據本發明的基于設備端OSD的人臉加框方法的流程框圖；