[發明專利]基于自然語言查詢的裝配式構件施工監控視頻定位方法

在審

• 申請號: 202210709127.5
• 申請日: 2022-06-22
• 公開（公告）號: CN114780789A
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 聶秀山;譚智方;于德湖;劉新鋒;劉興波
• 申請（專利權）人: 山東建筑大學
• 主分類號: G06F16/71
• 分類號: G06F16/71;G06F16/732;G06F16/783
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 支文彬

一種基于自然語言查詢的裝配式構件施工監控視頻定位方法，涉及視頻圖像處理技術領域，以自然語言語句作為用戶的查詢意圖，快速準確的定位到想要查找的施工現場片段。基于自然語言查詢的視頻片段定位任務本質上屬于跨模態檢索領域，通過哈希學習也可以把視頻和文本映射到同一個海明空間，將不同模態數據映射到聯合嵌入空間進行交互和分析，以獲取更有效的特征信息。同時，本專利使用了軟注意力機制為查詢信息本身進行加權，著重突出查詢內容中的重點詞匯，在模態交互階段取的更優良的表現。

技術領域

本發明涉及視頻圖像處理技術領域，具體涉及一種基于自然語言查詢的裝配式構件施工監控視頻定位方法。

背景技術

新型裝配式建筑是綠色智能建造和新型建筑工業的重要組成部分，裝配式構件現場施工中存在的精準裝配難度大、連接區域質量差、支撐體系自主化程度低等問題，因此實現裝配式建筑施工現場的綠色高效和智慧化是迫切需要解決的問題。其中，對裝配式施工現場的智能監控和分析，對及時發現施工工程中異常問題，提高裝配效率非常重要。通常裝配式建筑施工周期相對較長，監控設備會產生大量的視頻數據，當需要查詢某一個施工流程視頻片段時，面對大規模的視頻數據難以準確快速的進行查詢檢索。傳統的方式就是拖動視頻進度條，利用肉眼查找視頻中對應的時刻位置。顯然這種傳統方式效率極低，而且依靠肉眼費時費力。因此，利用計算機視覺等人工智能技術實現對施工現場視頻的快速、精確定位非常必要。深度學習是常用的工具，但是，在使用深度學習工具進行視頻片段定位時，因使用了復雜的特征提取器提取大量的視頻與文本特征。導致計算量增加，無法快速的地完成視頻片段定位。

發明內容

本發明為了克服以上技術的不足，提供了一種提高時刻定位性能的基于自然語言查詢的裝配式構件施工監控視頻定位方法。

本發明克服其技術問題所采用的技術方案是：

一種基于自然語言查詢的裝配式構件施工監控視頻定位方法，包括如下步驟：

(a)使用視頻編碼器將裝配式構件施工監控視頻轉換為特征序列，為第個時間步的視頻特征，為劃分的視頻時間步總數；

(b)挖掘特征序列中的視頻的時序信息后使用具有激活函數的全連接層生成視頻的第個時間步的視頻哈希碼b)挖掘特征序列中的視頻的時序信息后使用具有激活函數的全連接層生成視頻的第個時間步的視頻哈希碼；

(c)使用Glove模型對具有個單詞的查詢語句進行提取特征操作，得到特征序列，為第個單詞的特征向量；

(d)計算得到增強的句子特征；

(e)將增強的句子特征通過哈希生成器生成查詢語句的哈希碼；

(f)將視頻哈希碼和查詢語句的哈希碼輸入到跨模態注意力模塊中，將視頻哈希碼和查詢語句的哈希碼映射到相同的維度，得到降維后的新的視頻片段特征；

(g)對新的視頻片段特征進行加權，得到加權后的視頻片段特征，將加權后的視頻片段特征輸入到雙向門控循環單元網絡中，得到跨模態注意力模塊的輸出結果，為第個時間步的高級特征圖；

(h)將輸出結果作為輸入值，在每一個時間步計算一個匹配度分數，得到匹配度得分集合，為第個時間步的的匹配度得分；

(i)將匹配度得分集合輸入至位置定位器，得到一個1×2的矩陣，矩陣中第一項為開始時間戳索引，矩陣中第二項為結束時間戳索引，完成模型建立；

(j)使用開始時間戳索引與結束時間戳索引乘裝配式構件施工監控視頻的時長，得到最終的定位結果。

進一步的，步驟(b)包括如下步驟：

(b-1)利用公式通過雙向門控循環單元網絡挖掘特征序列中的視頻的時序信息，得到時間步長的雙向輸出的拼接后的向量，式中為雙向門控循環單元網絡，為時間步長為的雙向輸出的拼接后的向量，雙向門控循環單元網絡的隱藏層個數為256；

(b-2)將向量輸入到全連接層中，通過公式計算得到每個時刻的向量，式中為全連接層中的非線性激活函數，為可學習的權重矩陣，為偏差項；