[發明專利]視頻視覺關系檢測的關系片段連接方法

有效

• 申請號: 202010722710.0
• 申請日: 2020-07-24
• 公開（公告）號: CN111967336B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 姜育剛;蘇子軒;陳靜靜
• 申請（專利權）人: 復旦大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06F16/71;G06F16/901
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一種視頻視覺關系檢測的關系片段連接方法，其特征在于，通過建立樹的結構，保留關系片段間多種可能的連接方式，然后利用前后文的信息來進行各個連接方式間的選擇和處理；所述的關系片段連接方法；其中，本發明采用了樹的結構來進行關系片段的連接；其中，所述樹結構中，每個節點代表一個關系片段，包含：關系主語、謂語和賓語的三元組、主語和賓語的軌跡片段以及預測的置信分數；樹的每一層代表一個視頻片段，在該層中的每個節點都為該視頻片段中檢測出的關系片段；每棵樹構建一個視覺關系的所有可能連接方式，從根節點到葉子節點的一條路徑即代表一種可能的連接構成，即一種連接假設；在多假設連接的過程中，視頻片段會按照時間順序被依次輸入和處理，即每一處理周期中，由之前視頻片段構建的多假設樹用當前視頻片段中的關系片段來更新；

多假設連接方法的每一處理周期中，依次通過如下三個操作：連接篩選、假設計分、樹枝修剪：

連接篩選，即每棵樹的每個葉子節點都要從當前視頻片段中選擇所有可以連接的關系片段進行連接，構成新的葉子節點，也即向現有樹上添加新的待連接關系片段；

假設計分，即對當前每棵樹中的每個連接假設進行置信分數的計算，即確定各個假設的可信度；

樹枝修剪，即根據現有信息對樹進行剪枝，去掉已可以判定為低可信度的假設；

所述的連接篩選，具體操作步驟如下：

步驟1：每棵樹的每個葉子節點選取所有滿足條件的待連接關系片段進行連接，構成新的葉子節點；這里，所述選取所有滿足條件的待連接關系片段進行連接，其連接條件為關系三元組相同、且主語連接分數和謂語連接分數都大于閾值；主語和謂語連接分數的計算公式設計如下：

s_con,s＝α·vIoU_s+β·s_s

s_con,o＝α·vIoU_o+β·s_o

vIoU的定義為兩個軌跡的時間重合區間里每一幀上的IoU之和，vIoU_s和vIoU_o分別計算待連接關系片段和葉子節點間主語和賓語軌跡的vIoU，而s_s和s_o為待連接關系片段中主語和謂語標簽預測的置信分數，α和β為超參數；

步驟2：將未被任何葉子節點選擇的關系片段作為根節點生成新的樹；

所述的假設計分，具體操作步驟如下：

步驟1：遍歷當前每棵樹中的每個連接假設，對它們進行置信分數的計算；置信分數的計算公式設計如下：

s_path＝AVG(s_rel)

其中，s_rel為每個節點的節點分數，它是上一步驟中的兩個連接分數以及謂語預測置信分數s_p的加權平均值，γ為超參數，根節點由于無法計算連接分數，所以其節點分數設置為其關系三元組的總預測置信分數，即s_s*s_o*s_p/10^f，f為縮放因子，用于保證計算出的根節點的節點分數的數量級與其他節點相同，s_path是樹中的每個連接假設的分數，即每條從根節點到葉子節點的路徑的分數，由路徑中經過的每個節點分數取平均而得，用于表示該連接假設的可信度；AVG()表示取平均值的函數操作。