[發明專利]基于自然語言查詢的裝配式構件施工監控視頻定位方法

在審

• 申請號: 202210709127.5
• 申請日: 2022-06-22
• 公開（公告）號: CN114780789A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 聶秀山;譚智方;于德湖;劉新鋒;劉興波
• 申請（專利權）人: 山東建筑大學
• 主分類號: G06F16/71
• 分類號: G06F16/71;G06F16/732;G06F16/783
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 支文彬

1.一種基于自然語言查詢的裝配式構件施工監控視頻定位方法，其特征在于，包括：

(a)使用視頻編碼器將裝配式構件施工監控視頻轉換為特征序列，為第個時間步的視頻特征，為劃分的視頻時間步總數；

(b)挖掘特征序列中的視頻的時序信息后使用具有激活函數的全連接層生成視頻的第個時間步的視頻哈希碼；

(c)使用Glove模型對具有個單詞的查詢語句進行提取特征操作，得到特征序列，為第個單詞的特征向量；

(d)計算得到增強的句子特征；

(e)將增強的句子特征通過哈希生成器生成查詢語句的哈希碼；

(f)將視頻哈希碼和查詢語句的哈希碼輸入到跨模態注意力模塊中，將視頻哈希碼和查詢語句的哈希碼映射到相同的維度，得到降維后的新的視頻片段特征；

(g)對新的視頻片段特征進行加權，得到加權后的視頻片段特征，將加權后的視頻片段特征輸入到雙向門控循環單元網絡中，得到跨模態注意力模塊的輸出結果，為第個時間步的高級特征圖；

(h)將輸出結果作為輸入值，在每一個時間步計算一個匹配度分數，得到匹配度得分集合，為第個時間步的的匹配度得分；

(i)將匹配度得分集合輸入至位置定位器，得到一個1×2的矩陣，矩陣中第一項為開始時間戳索引，矩陣中第二項為結束時間戳索引，完成模型建立；

(j)使用開始時間戳索引與結束時間戳索引乘裝配式構件施工監控視頻的時長，得到最終的定位結果。

2.根據權利要求1所述的基于自然語言查詢的裝配式構件施工監控視頻定位方法，其特征在于，步驟(b)包括如下步驟：

(b-1)利用公式通過雙向門控循環單元網絡挖掘特征序列中的視頻的時序信息，得到時間步長的雙向輸出的拼接后的向量，式中為雙向門控循環單元網絡，為時間步長為的雙向輸出的拼接后的向量，雙向門控循環單元網絡的隱藏層個數為256；

(b-2)將向量輸入到全連接層中，通過公式計算得到每個時刻的向量，式中為全連接層中的非線性激活函數，為可學習的權重矩陣，為偏差項；

(b-3)通過公式計算得到視頻的第個時間步的視頻哈希碼，為sign函數。

3.根據權利要求1所述的基于自然語言查詢的裝配式構件施工監控視頻定位方法，其特征在于，步驟(d)包括如下步驟：

(d-1)通過公式計算得到雙向門控循環單元網絡中第個隱藏層的隱藏狀態，式中為雙向門控循環單元網絡中第個隱藏層的隱藏狀態，為雙向門控循環單元網絡；

(d-2)通過公式計算得到第個單詞的注意力權重，式中為exp函數，，與均為可學習的參數；

(d-3)將第個單詞的注意力權重輸入到軟注意力模塊，通過公式計算得到增強的句子特征。

4.根據權利要求1所述的基于自然語言查詢的裝配式構件施工監控視頻定位方法，其特征在于，步驟(e)包括如下步驟：

(e-1)通過公式計算得到增強句子特征輸出的實數向量，為可學習的權重矩陣，為偏差項，為全連接層中的非線性激活函數；

(e-2)通過公式計算得到查詢語句的哈希碼，為sign函數。

5.根據權利要求1所述的基于自然語言查詢的裝配式構件施工監控視頻定位方法，其特征在于，步驟(f)包括如下步驟：

(f-1)通過公式及計算得到具有相同維度的視頻的特征及查詢語句的特征，及均為映射矩陣；

(f-2)通過公式計算得到新的視頻片段特征，為映射矩陣，為偏置項。

6.根據權利要求5所述的基于自然語言查詢的裝配式構件施工監控視頻定位方法，其特征在于，步驟(g)包括如下步驟：

(g-1)通過公式計算得到加權后的視頻片段特征，式中為自然常數，，為全連接層中的非線性激活函數；

(g-2)通過公式計算得到第個時間步的高級特征圖，式中為雙向門控循環單元網絡，為第個時間步的高級特征圖。