[發明專利]一種基于表情肌定位的視頻智能渲染方法和系統

有效

• 申請號: 202210447176.6
• 申請日: 2022-04-27
• 公開（公告）號: CN114549711B
• 公開（公告）日: 2022-07-12
• 發明（設計）人: 顧院院
• 申請（專利權）人: 廣州公評科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06V40/16;G06V40/20;G06V20/40
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于表情肌定位的視頻智能渲染方法，其特征在于，包括：

S1：確定出待渲染視頻中每一幀視頻幀中的表情肌區域；

S2：基于所述待渲染視頻中包含的表情肌區域，確定出所述表情肌區域對應的變化定位點和變化頻率；

S3：確定出所述變化定位點對應的移動向量；

S4：基于所述移動向量和所述變化頻率調整所述視頻幀中的局部渲染參數，獲得對應的最終渲染視頻；

S1：確定出待渲染視頻中每一幀視頻幀中的表情肌區域，包括：

S101：確定出所述待渲染視頻中包含的每一幀視頻幀中的人臉區域；

S102：基于預設表情肌分布圖將所述人臉區域標準化，獲得對應的標準人臉區域；

S103：基于所述預設表情肌分布圖劃分出所述標準人臉區域中包含的表情肌區域；

S102：基于預設表情肌分布圖將所述人臉區域標準化，獲得對應的標準人臉區域，包括：

識別出所述人臉區域中包含的所有第一骨點，同時，確定出所述預設表情肌分布圖中包含的第二骨點；

基于所述第一骨點和所述第二骨點將所述人臉區域與所述預設表情肌分布圖配準，獲得對應的標準人臉區域；

S2：基于所述待渲染視頻中包含的表情肌區域，確定出所述表情肌區域對應的變化定位點和變化頻率，包括：

在所述待渲染視頻中識別出每個表情肌區域對應的一個完整變化動作，確定出所述完整變化動作在所述待渲染視頻中對應的表情肌完整變化視頻段；

基于所述表情肌區域對應的表情肌完整變化視頻段的視頻時長，確定出對應表情肌區域對應的變化頻率；

確定出所述完整變化動作在所述表情肌完整變化視頻段中包含的第一視頻幀中的第一表情肌區域集合，并將所述第一表情肌區域集合中包含的第一表情肌區域統一在同一坐標系下；

確定出所述表情肌完整變化視頻段中包含的第一個第一表情肌區域中包含的所有第一坐標點的第一坐標位置；

確定出所述第一坐標點在所述第一表情肌區域集合中除第一個第一表情肌區域以外剩余的第一表情肌區域中的第二坐標位置；

篩選出所述第一表情肌區域中對應的第一坐標位置和對應的所有第二坐標位置不完全相同的第二坐標點，基于所有第二坐標點獲得對應的坐標點集合；

基于表情肌完整變化視頻段中對應的幀序列將所述第二坐標點對應的第一坐標位置和對應的所有第二坐標位置進行排序，獲得所述第二坐標點對應的坐標位置序列；

基于所述坐標位置序列生成所述第二坐標點對應的變化軌跡；

從所述坐標點集合中篩選出所述變化軌跡的長度大于軌跡長度閾值的第三坐標點作為對應表情肌區域對應的變化定位點；

在所述待渲染視頻中識別出每個表情肌區域對應的一個完整變化動作，確定出所述完整變化動作在所述待渲染視頻中對應的表情肌完整變化視頻段，包括：

對所述待渲染視頻中包含的每一幀視頻幀中包含的表情肌區域進行特征提取，獲得對應的表情肌特征；

在所述待渲染視頻中篩選出每個表情肌區域對應的表情肌特征相同的時間點；

基于所述時間點在所述待渲染視頻中劃分出所述表情肌區域對應的完整變化動作對應的表情肌完整變化視頻段；

基于所述表情肌區域對應的表情肌完整變化視頻段的視頻時長，確定出對應表情肌區域對應的變化頻率，包括：

基于所述表情肌區域對應的所有表情肌完整變化視頻段的視頻平均時長；

將單位時間和所述視頻平均時長之間的比值作為對應表情肌區域對應的變化頻率；

S3：確定出所述變化定位點對應的移動向量，包括：

按照所述表情肌完整變化視頻段中對應的幀序列將所述變化定位點對應的第一坐標位置和對應的所有第二坐標位置排序，獲得所述變化定位點對應的第一坐標位置變化序列；

獲取所述變化定位點在所述表情肌完整變化視頻段中每一幀視頻幀中對應的顯示參數；

按照所述表情肌完整變化視頻段中對應的幀序列將所述變化定位點對應的顯示參數排序，獲得對應的顯示參數變化序列；

基于所述顯示參數變化序列以及法向高度和顯示參數的轉換公式，確定出所述變化定位點對應的法向高度變化序列；

將所述顯示參數變化序列和所述法向高度變化序列對齊處理，獲得對應的對齊結果；

基于所述對齊結果計算出所述變化定位點對應的三維坐標變化序列；

基于所述三維坐標變化序列構建出所述變化定位點對應的移動軌跡；

將所述移動軌跡中與對應的相鄰上一三維坐標和對應的相鄰下一三維坐標之間的線段之間的距離大于偏離閾值的三維坐標作為所述移動軌跡對應的偏離三維坐標；

將所述三維坐標序列中與所述偏離三維坐標最近的三個三維坐標作為校正參考坐標；

基于所述偏離三維坐標和對應的三個校正參考坐標構建出長方形區域；

將所述長方形區域的中心點作為所述偏離三維坐標的新三維坐標；

基于所述新三維坐標和所述三維坐標變化序列構建出對應的校正三維坐標變化序列，并將所述校正三維坐標變化序列中的偏離三維坐標進行偏離校正，直至最新獲得的校正三維坐標變化序列中不包含偏離三維坐標時，則將最新獲得的校正三維坐標變化序列作為對應的非偏三維坐標變化序列；

基于所述非偏三維坐標變化序列確定出所述變化定位點的起始三維坐標和終止三維坐標；

基于所述起始三維坐標和所述終止三維坐標確定出對應所述變化定位點對應的移動向量；

S4：基于所述移動向量和所述變化頻率調整所述視頻幀中的局部渲染參數，獲得對應的最終渲染視頻，包括：

基于所述變化定位點對應的移動向量確定出所述變化定位點對應的移動區域和移動位置幅度；

基于所述移動位置幅度和對應表情肌區域對應的變化頻率，確定出對應移動區域對應的子渲染參數；

將所述視頻幀中的局部渲染參數設置為所述視頻幀中包含的表情肌區域中的每個第三坐標點對應的子渲染參數，獲得對應的渲染視頻幀；

基于所有渲染視頻幀獲得對應的最終渲染視頻。